자연어 생성 모델에서의 귀속 측정

초록 대규모 신경 모델은 자연어 생성(NLG)에 새로운 도전을 가져왔습니다: 모델이 자유롭게 생성하는 출력의 안전성과 신뢰성을 보장하는 것이 필수적이게 되었습니다. 이를 위해, 우리는 '식별된 출처에 대한 귀속(AIS)'이라는 평가 프레임워크를 제시합니다. 이는 외부 세계와 관련된 NLG 출력이 독립적인 제공된 출처와 검증되어야 한다고 명시합니다. 우리는 AIS와 평가자가 주석 지침에 따라 모델 출력을 평가할 수 있도록 하는 이중 단계 주석 파이프라인을 정의합니다. 우리는 두 개의 대화형 QA 데이터셋, 하나의 요약 데이터셋, 테이블-텍스트 데이터셋을 포함한 세 가지 작업에 걸쳐 생성 데이터셋에서 이 접근 방식을 성공적으로 검증합니다. 부록에서 전체 주석 지침을 제공하며, 주석이 달린 데이터를 https://github.com/google-research-datasets/AIS에서 공개적으로 배포합니다.