PLUGH: 대형 언어 모델에서 공간 이해 및 추리에 대한 벤치마크

우리는 PLUGH(https://www.urbandictionary.com/define.php?term=plugh)를 소개합니다. PLUGH는 현재 48개의 서로 다른 게임에서 추출된 125개의 입력 텍스트로 구성된 5가지 작업으로 이루어진 현대적인 벤치마크로, 대형 언어 모델(LLMs)의 공간 이해 및 추리 능력을 평가하기 위해 61개의 서로 다른(비동형) 공간 그래프를 나타냅니다. API 기반 및 오픈 소스 LLM에 대한 평가 결과, 일부 상업용 LLM은 강력한 추리 능력을 보이는 반면, 오픈 소스 경쟁자들은 거의 동일한 품질 수준을 보여줄 수 있습니다. 그러나 모든 모델은 여전히 개선의 여지가 상당히 있습니다. 우리는 LLM 실패의 전형적인 원인을 식별하고 이를 다루기 위한 가능한 방법에 대해 논의합니다. 데이터셋과 평가 코드는 공개됩니다(https://github.com/altsoph/PLUGH).