パターンマッチングを超えた学習？LLMにおける数学的理解の評価

私たちは、言語モデルを利用した科学的発見において進展を見始めています。LLMを一般的な科学アシスタントとして利用することに動機づけられ、本論文では、問題を解決するために必要なさまざまな数学スキルの理解を通じて、LLMのドメイン知識を評価します。特に、事前にトレーニングされたモデルが何を知っているかだけでなく、情報から学ぶ方法や、数学内の複雑な知識構造を活用した文脈内学習や指示調整を通じてどのように学んだのかを検討します。Neural Tangent Kernel (NTK) に動機づけられ、私たちはNTKEvalを提案し、異なる種類の数学データに基づいてトレーニングすることで、LLMの確率分布の変化を評価します。私たちの体系的な分析は、文脈内学習におけるドメイン理解の証拠を見つけます。一方、特定の指示調整は異なるデータでのトレーニングに関わらず類似のパフォーマンス変化を引き起こすことがあり、異なるスキル間でのドメイン理解の欠如を示唆しています。