신유: 주석 생성을 위한 효율적인 LLM 기반 시스템

주석은 다양한 주장을 제시하고 증거를 통해 독자에게 사건에 대한 깊은 이해를 제공합니다. 그러나 주석을 작성하는 것은 숙련된 주석가에게도 시간 소모적인 작업입니다. 대형 언어 모델(LLM)은 자연어 생성 과정을 단순화했지만, 주석 작성에 직접 적용할 경우 독특한 작업 요구 사항으로 인해 여전히 어려움을 겪고 있습니다. 이러한 요구 사항은 두 가지 수준으로 분류될 수 있습니다: 1) 기본 요구 사항, 즉 잘 구조화되고 논리적으로 일관된 서사를 작성하는 것을 포함하고, 2) 고급 요구 사항은 질 높은 주장을 생성하고 설득력 있는 증거를 제공하는 것입니다. 본 논문에서는 중국어 주석 생성을 지원하도록 설계된 효율적인 LLM 기반 시스템인 신유를 소개합니다. 기본 요구 사항을 충족하기 위해, 우리는 생성 과정을 순차적 단계로 분해하고 각 단계에 대해 목표를 설정한 전략과 감독된 미세 조정(SFT)을 제안합니다. 고급 요구 사항을 해결하기 위해, 우리는 주장을 위한 주장 정렬 모델을 제시하고 최신 사건과 고전 도서를 포함한 종합적인 증거 데이터베이스를 구축하여 검색 증강 생성(RAG) 기술로 증거의 정당성을 강화합니다. 생성된 주석을 더 공정하게 평가하기 위해, 우리는 주석 생성의 두 가지 수준 요구 사항을 고려한 포괄적인 평가 지표를 소개합니다. 우리의 실험은 제안한 시스템의 효과성을 확인합니다. 우리는 또한 실제 시나리오에서 주석가의 효율성이 크게 증가하는 것을 관찰하였으며, 주석 작성에 소요되는 평균 시간이 4시간에서 20분으로 줄어들었습니다. 중요하게도, 이러한 효율성의 증가는 주석의 질을 저하시키지 않습니다.