大規模言語モデルの失敗を人間の認知バイアスを通じて捉える

大規模言語モデルは、複雑で無限の出力を生成します。クラスラベルを出力するのではなく、要約を書いたり、対話を生成したり、動作するコードを作成したりします。これらのオープンエンド生成システムの信頼性を評価するために、個々のエラーを特定する以上に、誤動作の定性的カテゴリを特定することを目指します。このような定性的エラーを仮説立ててテストするために、人間の認知バイアス -- 論理的判断からの体系的な逸脱のパターン -- からインスピレーションを得ます。具体的には、認知バイアスを用いて (i) モデルが抱える問題に対する仮説を生成し、(ii) これらの問題を引き出す実験を開発します。コード生成をケーススタディとして使用すると、OpenAIのCodexは、入力プロンプトのフレーミングによって予測可能なエラーを犯し、出力をアンカーに向けて調整し、頻繁なトレーニング例を模した出力に偏ります。次に、私たちのフレームワークを用いて、ファイルを誤って削除するなどの大きな影響を与えるエラーを引き出します。私たちの結果は、認知科学からの実験的方法論が機械学習システムの挙動を特徴づけるのに役立つことを示しています。