大規模言語モデルにおける新たな類推的推論

大規模言語モデルの最近の登場は、十分なトレーニングデータがあれば人間の認知能力がこのような一般的なモデルに現れるかどうかという議論を再活性化させました。特に関心があるのは、これらのモデルが直接的なトレーニングなしに新しい問題についてゼロショットで推論する能力です。人間の認知において、この能力は類推による推論能力と密接に関連しています。ここでは、人間の推論者と大規模言語モデル（GPT-3のtext-davinci-003バリアント）との直接比較を、Ravenの標準的な進行行列のルール構造に基づく非視覚的マトリックス推論タスクを含む様々な類推タスクにおいて行いました。私たちは、GPT-3が驚くほど強力な抽象パターン誘導能力を示し、ほとんどの設定で人間の能力に匹敵するか、さらにはそれを超えることを発見しました。GPT-4の初期テストでは、さらに優れたパフォーマンスが示されました。私たちの結果は、GPT-3のような大規模言語モデルが、広範な類推問題に対してゼロショットの解決策を見つける新たな能力を獲得したことを示しています。