Key points are not available for this paper at this time.
단어 오류율(Word Error Rate, WER)은 자동 음성 인식(ASR) 시스템의 성능을 평가하는 데 사용되는 주요 지표입니다. 그러나 WER은 때때로 의도 인식, 슬롯 채우기 및 작업 지향 대화 시스템의 의미적 구문 분석과 같은 하위 자연어 이해(NLU) 작업에 대한 좋은 지표가 아닐 수 있습니다. 이는 WER이 의미적 정확성보다는 문자적 정확성만을 고려하기 때문이며, 후者는 이러한 작업에 일반적으로 더 중요합니다. 본 연구에서는 ASR 시스템의 대안 평가 지표로서 새로운 의미적 거리(Semantic Distance, SemDist) 측정을 제안합니다. SemDist를 문장 수준 임베딩 공간에서 참조와 가설 쌍 사이의 거리로 정의합니다. 참조와 가설을 문장 임베딩으로 표현하기 위해, 우리는 변환기 아키텍처에 기반한 최첨단 사전 훈련된 깊이 맥락 언어 모델인 RoBERTa를 활용합니다. 의도 인식, 의미적 구문 분석 및 명명된 개체 인식과 같은 다양한 하위 작업에서 제안한 지표의 효과성을 입증합니다.
김 외(2023)는 이 질문을 연구했습니다.