完璧なフィッティングが表現学習に与える影響とは？深層ニューラルネットワークにおける表現のトレーニングダイナミクスについて

本論文では、深層ニューラルネットワーク（DNN）の表現がトレーニング中にどのように進化するかを明らかにします。トレーニングされたDNNがトレーニングデータに完璧に適合し始めた後も、トレーニングが続く過剰パラメータ化された学習設定に焦点を当てます。完璧なフィッティングレジームを含む全体のトレーニングプロセスを通じて学習された表現の進化を検討し、エポックごとの二重減少現象に関する考察を行います。DNNの各層の表現がトレーニングプロセスを通じて、それぞれの層の表現に対する類似性を探求します。そのために、2つの類似度指標を使用します：（1）中心化カーネルアラインメント（CKA）類似度；（2）DNN層用にトレーニングした線形分類器プローブの決定境界の類似性。我々の広範な実験により、層の相対的深さ、DNNの幅、アーキテクチャに応じてレイヤーに現れるトレーニングダイナミクスのパターンを発見しました。エポックごとの二重減少が発生する際、より深い層における表現はトレーニング中により多く進化することを示します。ビジョントランスフォーマーについては、完璧なフィッティング閾値がエンコーダーブロック全体の表現の進化における遷移を創出することを示します。