Key points are not available for this paper at this time.
작업 지향 대화 (TOD) 시스템은 최근 연구에서 점점 더 많은 주목을 받고 있습니다. 현재 방법은 사전 훈련된 모델이나 미세 조정 전략을 구성하는 데 중점을 두고 있지만, TOD의 평가는 정책 불일치 문제로 제한됩니다. 즉, 평가 중에 사용자 발화는 주석이 달린 데이터 세트에서 나오지만 이 발화는 주석 텍스트 외에도 많은 대안들과 상호작용해야 합니다. 따라서 이 작업에서는 TOD를 위한 인터랙티브 평가 프레임워크를 제안합니다. 먼저 사전 훈련된 모델을 기반으로 하는 목표 지향 사용자 시뮬레이터를 구축하고, 그런 다음 사용자 시뮬레이터를 사용하여 대화 시스템과 상호작용하여 대화를 생성합니다. 또한, 인터랙티브 평가에서 문장 유창성과 세션 일관성을 측정하기 위한 문장 수준 및 세션 수준 점수를 도입합니다. 실험 결과는 우리가 제안한 사용자 시뮬레이터로 훈련된 RL 기반 TOD 시스템이 MultiWOZ 데이터 세트의 인터랙티브 평가에서 거의 98%의 정보와 성공률을 달성할 수 있음을 보여줍니다. 제안된 점수는 정보 및 성공률 외에도 응답 품질을 측정합니다. 우리는 우리의 작업이 TOD 작업에서 시뮬레이터 기반 인터랙티브 평가를 장려할 것이라고 희망합니다.
Cheng et al. (토요일)은 이 질문을 연구했습니다.