入力マージンは一般化を予測できる

深層神経ネットワークにおける一般化の理解は、活発な研究分野です。マージン測定、すなわち特定のサンプルまたはネットワーク内部でのその表現に対する意思決定境界までの最短距離の探索は、有望な研究の手段とされています。隠れた表現（隠れマージン）で測定した場合、マージンはモデルの一般化能力と相関していることが示されていますが、入力マージンと一般化との間の関連は確立されていません。私たちは、入力マージンは一般化を予測するものではないが、探索空間が適切に制約されると予測可能になることを示します。私たちは、入力マージンに基づいたそのような測定を開発し、これを「制約付きマージン」と呼びます。この新しい測定の予測力を「深層学習における一般化の予測」（PGDL）データセットで実証し、隠れた表現のマージンと対比させます。制約付きマージンは非常に競争力のあるスコアを達成し、一般的に他のマージン測定を上回ることがわかりました。これは、一般化と分類マージンの関係に関する新しい洞察を提供し、DNNにおける一般化の調査のためにデータマニフォールドを考慮する重要性を強調します。