제로샷 관계 추출기로서 대형 언어 모델 재조명

관계 추출(RE)은 제로샷 설정 하에서도 일정 정도의 레이블이 있는 데이터 또는 레이블이 없는 데이터를 포함하는 것이 일관됩니다. 최근 연구에 따르면, 대형 언어 모델(LLM)은 자연어 프롬프트만 주어지면 새로운 작업에 잘 전이되며, 이는 데이터나 매개변수 조정 없이 텍스트에서 관계를 추출할 수 있는 가능성을 제공합니다. 본 연구는 ChatGPT와 같은 LLM을 제로샷 관계 추출기로 탐구하는 데 초점을 맞춥니다. 한편으로, 기존 RE 프롬프트의 단점을 분석하고, 최근의 프롬프트 기법인 사고의 사슬(CoT)을 통합하여 제로샷 RE를 개선하려고 시도합니다. 우리는 RE 입력을 효과적인 질문 응답(QA) 형식으로 변환하기 위해 LLM을 재귀적으로 사용하는 간단한 프롬프트인 요약하고 질문하기(SumAsk) 프롬프트를 제안합니다. 다른 한편으로, 우리는 LLM의 제로샷 RE 능력을 조사하기 위해 다양한 벤치마크와 설정에서 포괄적인 실험을 수행합니다. 구체적으로, 우리는 다음과 같은 발견을 하였습니다: (i) SumAsk는 다양한 모델 크기, 벤치마크 및 설정에서 LLM 성능을 일관되게 상당히 향상시킵니다; (ii) ChatGPT의 제로샷 프롬프트는 제로샷 및 완전 감독 방법과 비교하여 경쟁력 있는 또는 우수한 결과를 달성합니다; (iii) LLM은 겹치는 관계를 추출하는 데 유망한 성능을 발휘합니다; (iv) 성능은 다양한 관계에 따라 크게 달라집니다. 소형 언어 모델과는 달리 LLM은 도전적인 None-of-the-above (NoTA) 관계를 처리하는 데 효과적입니다.