실제 사용자로부터 배우기: 음성 대화 시스템에서 강화 학습을 위한 신경망을 사용한 대화 성공 평가

통계적 음성 대화 시스템(SDS)을 훈련하기 위해서는 작업 성공을 측정할 수 있는 정확한 방법이 필수적이다. 현재까지 훈련은 시뮬레이션한 사용자 또는 유료 사용자를 대상으로 작업을 제시하고, 이 작업이 달성되었는지 여부를 관찰하여 대화의 성공을 추론하는 데 의존해왔다. 그러나 우리의 목표는 자신의 의지 하에 행동하는 실제 사용자로부터 학습할 수 있는 능력을 갖추는 것이며, 이 경우 작업에 대한 사전 지식이 전혀 없어 성공을 평가하는 것이 간단하지 않다. 사용자 피드백을 활용할 수 있지만 일관성이 없다는 것이 발견되었다. 따라서 여기에서는 대화의 성공을 평가하기 위해 턴 수준의 특성 시퀀스를 평가하는 두 개의 신경망 모델을 제시한다. 이 모델들은 사용자의 작업에 대한 사전 지식을 전혀 사용하지 않는 것이 중요하다. 모델들은 시뮬레이션된 사용자에 의해 생성된 대화에서 훈련되고, 최상의 모델은 사용자의 작업에 대한 사전 지식을 이용하는 기준 시스템과 적어도 동일한 성능을 보이는 온라인 정책 훈련에 사용된다. 우리는 이 모델들이 SDS 평가 및 규칙 기반 SDS에서의 대화 모니터링에도 흥미롭다는 점을 지적한다.