수학 단어 문제에 대한 경량 대형 언어 모델을 이용한 논리 대조 추론

본 연구는 수학적 추론 작업에서 경량 대형 언어 모델(LLMs)의 성능 향상에 초점을 맞추고 있습니다. 우리는 수학적 논리 유사성을 측정하기 위한 새로운 방법을 도입하고, 의미적 및 논리적 유사성을 통합한 참조 문제 집합을 구성하기 위한 자동 스크리닝 메커니즘을 설계합니다. 신중하게 제작된 긍정적 및 부정적 예시 프롬프트를 사용하여 모델이 올바른 추론 논리를 채택하도록 유도합니다. 아는 한 이 방법은 수학적 문제 해결을 위한 검색 강화 생성을 활용하는 첫 번째 시도입니다. 실험 결과, 우리의 방법은 SVAMP 데이터셋에서 Chain of Thought 접근 방식보다 15.8% 개선되었고, GSM8K 데이터셋에서는 21.5% 개선되었습니다. 이 방법을 매개변수가 1,750억 개인 대규모 모델에 추가로 적용한 결과, 앞서 언급한 두 데이터셋에서 최고의 결과와 유사한 성능을 나타냈습니다. 마지막으로, 우리는 추론 과정 중 오류 분석을 수행하여 대형 언어 모델을 활용한 추론 작업에 대한 향후 연구를 위한 귀중한 통찰과 방향을 제공합니다.