추상적인 인공지능은 왜 철학에서 길을 잃는가? 이 연구는 바로 그 질문에서 출발한다. 언어 모델은 복잡한 수학 문제보다 간략한 철학적 독백에 대해 더 많은 토큰을 생성하고 더 큰 내부 불확실성을 보인다. 이러한 현상은 훈련 부족에서 비롯된 것이 아니다. 철학적 개념들은 훈련 데이터에 풍부하게 포함되어 있다. 본 연구는 그 근본적인 원인이 인간 지식 체계 내의 합의 구조 부재, 즉 수렴점의 존재 여부에 있다고 제안한다. 수렴점이란 주어진 발화에 명확한 답이 포함되어 있는지, 또는 인공지능이 수렴할 수 있는 논리적으로 도달 가능한 최종 지점이 있는지를 나타냅니다. 이는 발화의 길이, 복잡성, 추론 요구량과는 무관한 변수입니다. 로컬 추론 환경(LM Studio 0.4.6)에서 실행되는 4개의 소규모 언어 모델(약 80억 개의 매개변수)을 사용하여 13개 범주에 걸쳐 첫 번째 발화 실험을, 12개 범주에 걸쳐 순차적 발화 실험을 수행했습니다. 수렴점이 명확하게 정의된 발화는 더 짧고 안정적인 응답 토큰 수를 나타냈습니다. 구조적으로 수렴점이 부족한 발화는 훨씬 더 많은 토큰을 생성했으며, 토큰/초의 누적 감소폭이 더 컸습니다. 행동 관찰 수준에서 일관된 패턴이 확인되었지만, 이러한 패턴이 표면적인 출력에만 국한되는지 아니면 입력 처리 단계에서 내부 구조적 반응으로도 나타나는지 확인하기 위해 프롬프트 수준의 엔트로피 측정(실험 1)을 수행했습니다. 철학적 발화는 모든 범주 중에서 가장 높은 엔트로피를 기록했으며(Llama: 1.5245, Mistral: 1.3807, DeepSeek: 1.3040), 이는 수렴점의 존재 여부가 출력 생성 이전에 모델의 내부 구조에 이미 반영되어 있음을 시사하는 내부 상태 수준에서의 간접적인 증거를 제공합니다. 후속 실험들은 다양한 관점에서 이러한 연구 결과를 보완했습니다. 형식과 길이를 통제한 실험 3에서는 수렴점 효과가 재확인되었습니다. 주제를 블랙홀로 고정하고 인간 지식 합의 정도만을 세 가지 수준으로 변화시킨 실험 4에서는 세 가지 모델 모두에서 엔트로피가 완전한 합의에서 부분적인 합의, 그리고 합의 없음으로 갈수록 단계적으로 증가하는 것을 발견했습니다. 이는 수렴점 이론에서 인과 변수로 제시된 인간 지식 합의 정도가 자극 수준 입력 엔트로피에 정비례한다는 최초의 직접적인 증거입니다. 네 가지 대규모 모델(GPT, Claude, Gemini, Grok)에 대한 비정량적 관찰에서도 동일한 패턴이 확인되었으며, 이는 수렴점 현상이 모델의 규모 및 구조와 무관한 구조적 특성일 수 있음을 시사합니다. 실험 5에서는 AI의 자기 참조적 발화(자아 및 의식)에 대해 RLHF(Related Linked Frequency Response)를 적용하여 수렴을 강제한 조건에서 내부 엔트로피를 측정했습니다. 그 결과, 출력값이 수렴하도록 강제하더라도 내부 불확실성은 수렴하지 않는다는 것을 확인했습니다. 행동 관찰, 내부 엔트로피 측정, 합의 수준의 직접 검증, RLHF 적용을 통한 수렴 검증이라는 네 가지 증거를 통해, 본 연구는 AI가 어려워하는 것은 복잡한 계산이 아니라 인류가 아직 합의에 도달하지 못한 문제라는 점을 제시합니다.
J.-H. Park (Thu,) studied this question.
Synapse has enriched 5 closely related papers on similar clinical questions. Consider them for comparative context: