ニューラルネットワークの一般化のためのバイアス-バリアンスのトレードオフの再考

古典的なバイアス-バリアンストレードオフは、モデルの複雑性が増すにつれてバイアスが減少しバリアンスが増加することを予測し、U字型のリスク曲線を導きます。最近の研究では、ニューラルネットワークや他の過剰パラメータモデルに関してこれが疑問視されており、大きなモデルほど一般化能力が高いことがよく観察されています。我々は、ニューラルネットワークのバイアスとバリアンスを測定することによって、この現象を簡単に説明します。古典理論のようにバイアスは単調に減少しますが、バリアンスはユニモーダルまたはベル型であり、ネットワークの幅が増えると増加し、その後減少します。ネットワークアーキテクチャ、損失関数、データセットの選択を変更し、検討したすべてのモデルに対してバリアンスのユニモーダル性が堅牢に発生することを確認しました。リスク曲線はバイアス曲線とバリアンス曲線の合計であり、バイアスとバリアンスの相対的なスケールによって異なる質的形状を示し、最近の文献で観察されるダブルディセント曲線は特別なケースとして現れます。これらの経験的結果をランダムな第一層を持つ二層線形ネットワークの理論分析によって corroborate します。最後に、分布外データでの評価は、精度の低下のほとんどがバイアスの増加に起因し、バリアンスは比較的小さな量で増加することを示しています。さらに、我々は、より深いモデルが分布内および分布外のデータに対してバイアスを減少させ、バリアンスを増加させることを発見しました。