₂ 期待キャリブレーションエラーのための信頼区間

近年の機械学習の進展により、さまざまなアプリケーションにおける予測精度が大幅に向上しました。しかし、確率的予測のキャリブレーションを保証することは依然として大きな課題です。モデルのキャリブレーションを向上させるための努力にもかかわらず、モデルキャリブレーションの厳密な統計的評価はあまり探求されていません。本研究では、₂ 期待キャリブレーションエラー (ECE) の信頼区間を開発します。人気のある信頼キャリブレーションの概念と完全キャリブレーションの両方を含む、top-1-to-kキャリブレーションを考慮します。ECEの偏りのない推定量について、キャリブレーションされたモデルとミスキャリブレーションされたモデルに対して異なる収束率と漸近分散を持つ漸近的正規性を示します。この挙動と非負性を考慮しながら、ECEのための漸近的に有効な信頼区間を構築する方法を開発します。我々の理論的結果は、広範な実験によって裏付けられており、我々の方法がリサンプリングに基づく方法で得られたものと比較して、短い長さの有効な信頼区間を生成することを示しています。