본 논문은 Actor–Critic(SAC, TD3)에 Q 함수 기반 안정성 정규화를 경량하게 도입하는 방법을 제안한다. 제안 항은 Lyapunov 직관에 기반하되 형식적 보장을 주장하지 않으며, 정책 손실에 타깃 대비 현재 Q 값의 감소분에만 비대칭 힌지 패널티를 추가한다. 학습 루프(리플레이 버퍼, 타깃 네트워크, 지연 정책 갱신)는 그대로 유지되며, 정책 업데이트 시 타깃 크리틱 전방통과가 추가되는 것이 유일한 계산 변화이다(SAC:+1, TD3:+2). 실험 설정에서 벽시계 시간 증가는 약 1–2%, 메모리 증분은 미미하였다. 평가는 동일한 총 환경 스텝 K 하에 InvertedPendulum, InvertedDoublePendulum, HumanoidStandup에서 수행하고, 학습 속도 지표 MeanRegret@K(↓)와 안전 지표 MeanCost@K(↓)(선택적으로 S0.5)를 사용한다. 전반적으로 제안 정규화는 속도–안전 균형을 개선하는 경향을 보였으며, 특히 TD3와 결합 시 일관된 향상이 관찰되었다. HumanoidStandup은 접촉 민감도로 분산이 커 본문에는 경향을, 부록에는 분포를 제시하였다. 본 방법은 제약 기반 기법(CPO, PPO-Lag 등)의 대체재라기보다 실용적 보정(regulation) 수단으로 보는 것이 타당하며, 한계로는 패널티 계수 λ와 크리틱 추정 정확도에 대한 민감성이 있다.
Kim et al. (2026) studied this question.