Errudite: スケーラブルで再現可能、かつテスト可能なエラー分析

エラー分析はNLPモデルの理解と改善において重要ですが、限られたエラーのサンプルを手動で主観的に分類する一般的な手法は、偏った不完全な結論をもたらす可能性があります。本稿では、情報に基づくエラー分析のためのモデルおよびタスクに依存しない原則を定義し、これを支援するインタラクティブツールErruditeを紹介します。まず、エラーグループは再現可能性のために正確に定義されるべきです；Erruditeは表現力豊かなドメイン特有の言語を用いてこれをサポートします。次に、誤った結論を避けるために、大規模なインスタンスセットを分析する必要があり、ポジティブな例とネガティブな例の両方を含めるべきです；Erruditeは関連するインスタンスの体系的なグループ化をフィルタリングクエリによって可能にします。最後に、エラーの原因に関する仮説は明示的にテストされる必要があり、Erruditeは自動的な反実仮想の再書き換えを通じてこれをサポートします。私たちはユーザー研究でアプローチを検証し、Erruditeが（1）ユーザーが労力を減らしながら高品質で再現可能なエラー分析を行うことを可能にし、（2）以前に公開されたエラー分析手法における substantialな曖昧さを明らかにし、（3）ユーザーが以前の信念をテストし修正できるようにすることによってエラー分析の体験を向上させることを発見しました。