CodeGraph: 코드로 LLM의 그래프 추론 향상

대형 언어 모델(LLM)의 인기가 높아짐에 따라, 기본 그래프 알고리즘 문제에 대한 추론은 복잡한 그래프 추론 작업을 처리하고 추론하는 능력을 평가하는 중간 단계로 필수적입니다. 기존 방법들은 보통 그래프 구조화 데이터를 텍스트 설명으로 변환한 후 LLM을 사용해 추론과 계산을 수행합니다. 그러나 LLM은 기본 그래프 알고리즘 문제의 산술 부분, 예를 들어 간선 수 세기에서 계산 오류를 자주 발생시킵니다. 또한, 추론 과정의 결과를 제어하거나 이해하는 데 어려움을 겪어 LLM이 단순히 추측하는 것이 아닌지에 대한 의문이 제기됩니다. 본 논문에서는 그래프 문제 해답을 코드로 인코딩하는 방법인 CodeGraph를 소개합니다. 이 방법은 예시로부터 학습하고 프로그램을 생성한 후 프로그램 해석기를 통해 이를 실행함으로써 새로운 그래프 문제를 해결합니다. Few-shot 설정에서, 우리는 기본 LLM으로 GPT-3.5 Turbo, Llama3-70B Instruct, Mixtral-8x22B Instruct, Mixtral-8x7B Instruct를 사용하여 CodeGraph를 평가했습니다. GraphQA 데이터셋의 여섯 가지 작업과 여섯 가지 그래프 인코딩 방법에 대한 실험 결과는 CodeGraph가 작업에 따라 1.3%에서 58.6%까지 LLM 내부에서 그래프 추론 작업의 성능을 향상시킬 수 있음을 보여줍니다. 기존 방법과 비교하여, CodeGraph는 그래프 작업의 산술 문제에서 강력한 성능을 보이며 추론 과정에 대한 더 제어 가능하고 해석 가능한 접근법을 제공합니다.