자기 증류를 통한 다중 의도 감지 및 슬롯 채우기

의도 감지 및 슬롯 채우기는 자연어 이해(NLU)에서 두 가지 주요 작업입니다. 이 두 작업은 밀접한 관련이 있으며 종종 공동으로 학습됩니다. 그러나 기존 작업의 대부분은 발화가 하나의 의도에만 해당한다고 가정하고, 여러 의도를 포함할 수 있다는 것을 무시합니다. 본 논문에서는 다중 의도 NLU를 위한 새로운 자기 증류 공동 NLU 모델(SDJN)을 제안합니다. 구체적으로, 우리는 세 개의 차례로 연결된 디코더와 자기 증류 접근 방식을 채택하여 여러 의도와 슬롯 간의 상호 관계를 설정하는 보조 루프를 형성합니다. 각 디코더의 출력은 다음 디코더를 위한 보조 정보 역할을 하며, 보조 루프는 자기 증류를 통해 완료됩니다. 또한, 우리는 다중 의도 감지를 약하게 감독된 작업으로 공식화하고, 이를 다중 인스턴스 학습(MIL)으로 처리하며, 토큰 수준의 의도 정보를 활용하여 다중 의도를 예측하고 슬롯 디코더를 안내합니다. 실험 결과에 따르면, 우리의 모델은 다른 모델들과 비교했을 때 경쟁력 있는 성능을 달성합니다.