機械学習モデルのキャリブレーションを比較・改善する方法の再評価

機械学習モデルは、その結果の予測確率がモデルの予測に基づく結果の観察頻度と一致する場合にキャリブレーションされていると言います。この特性は、機械学習モデルの影響がさまざまな分野に広がるにつれて、ますます重要になっています。その結果、特に深層学習モデルのキャリブレーションを測定・改善する最近の論文が非常に多数発表されています。本研究では、最近の文献におけるキャリブレーションメトリックの報告について再評価します。我々は、キャリブレーションと予測メトリック（すなわちテスト精度）に、負の対数尤度などの追加の一般化メトリックを伴わない場合、見かけ上最先端のものに見える単純な再キャリブレーションアプローチが存在することを示します。次に、一般化メトリックに基づいたキャリブレーションメトリックの選択を促すため、及び単純なキャリブレーションを検出するために使用できるブレグマン距離のキャリブレーションに基づく分解を導出します。最後に、これらのアイデアを適用し、モデルのキャリブレーションと推定一般化誤差を同時に可視化するための信頼性ダイアグラムの新しい拡張を開発します。