언어 모델이 배우지 않는 과제

우리는 현재의 대형 언어 모델(LLMs)이 배우지 못하는 특정 언어의 속성이 있다고 주장합니다. 우리는 H-TEST라는 일련의 과제를 통해 언어의 시각-청각 속성에 대한 실증적 조사를 제시합니다. 이 벤치마크는 인간의 언어 이해가 감각 경험을 자연스럽게 통합하는 것과 LLM의 감각 결핍 처리 능력 간의 근본적인 격차를 강조합니다. 우리의 가설을 뒷받침하기 위해, 1. 의도적 추론(Chain-of-Thought), 2. 몇 가지 예시, 또는 3. 동일 모델 계열의 더 강한 LLM(LLaMA 2 13B -> LLaMA 2 70B)은 H-TEST 성능에서 사소한 개선을 가져오지 않습니다. 따라서 우리는 감각 결핍 환경에서 세상에 대해 배우는 메리의 철학적 사례와 특별한 연관성을 만듭니다(Jackson, 1986). 우리의 실험은 가장 강력한 독점 LLM 중 일부가 50%의 무작위 기초 정확도 근처에 머물고 있다는 것을 보여주어, 감각 경험이 결여된 상태에서 습득한 지식의 한계를 강조합니다.