非線形スパイク共分散行列と深層神経ネットワークにおける信号伝播

最近の多くの研究では、フィードフォワード神経ネットワークの非線形特徴マップによって定義される共役カーネル（CK）の固有値スペクトルが研究されています。しかし、既存の結果は経験的固有値分布の弱収束のみを確立するものであり、学習問題の低次元信号構造を捉える「スパイク」固有値と固有ベクトルの正確な定量的性質を提供するには至っていません。本研究では、スパイク共分散モデルの非線形バージョンに対して、これらの信号固有値と固有ベクトルを特徴付けます。この一般的な結果を用いて、入力データにおけるスパイク固有構造がランダムな重みを持つ神経ネットワークの隠れ層を通してどのように伝播するかを定量的に説明します。第二の応用として、重み行列が訓練中にランク1の信号成分を持つ単純な表現学習の領域を研究し、テストデータにおけるターゲット関数とCKのスパイク固有ベクトルの整合性を特徴付けます。