SOLOIST: 전이 학습과 기계 교육을 통한 대규모 작업 봇 구축

우리는 전이 학습과 기계 교육을 사용하여 대규모 작업 봇을 구축하는 새로운 방법 SOLOIST를 제시합니다. 우리는 Transformer 기반의 자기 회귀 언어 모델을 사용하여 고전적인 모듈형 작업 지향 대화 시스템을 매개변수화하며, 이를 통해 다양한 대화 모듈을 단일 신경 모델로 통합합니다. 우리는 이질적인 대화 말뭉치에서 작업 기반 응답 생성 모델을 사전 학습하여 사용자 목표와 실제 지식에 기반한 작업 완료를 위한 대화 응답을 생성할 수 있습니다. 사전 학습된 모델은 기계 교육을 통해 소수의 작업 특화 대화와 함께 새로운 작업을 효율적으로 수행할 수 있도록 조정될 수 있으며, 여기서 훈련 샘플은 시스템과 상호작용하는 인간 교사에 의해 생성됩니다. 실험 결과는 (i) SOLOIST가 CamRest676 및 MultiWOZ와 같은 잘 연구된 작업 지향 대화 벤치마크에서 새로운 최첨단 성과를 창출함을 보여주며, (ii) 소수 샷 미세 조정 설정에서 SOLOIST가 기존 방법들보다 유의미하게 우수함을 보이며, (iii) 기계 교육의 사용이 미세 조정의 레이블 비용을 상당히 줄임을 보여줍니다. 사전 학습된 모델과 코드는 https://aka.ms/soloist에서 확인할 수 있습니다.