非線形自己関連はPCAに等しくない

ニューラルネットワークコミュニティ内での一般的な誤解は、隠れ層に非線形性があっても、バックプロパゲーションで訓練された自己関連型ネットワークは主成分分析（PCA）などの線形手法に等しいということです。本研究の目的は、非線形自己関連型ネットワークが実際には線形手法とは異なる振る舞いをし、潜在抽出、射影、および分類に使用する際にこれらの手法を上回るパフォーマンスを発揮できることを示すことです。線形自己関連型ネットワークはPCAを模倣し、そのため平坦または単峰の再構成誤差面を示す一方で、隠れ層に非線形性を持つ自己関連型ネットワークは、タスクによって異なる複数の局所的な谷を含む誤差再構成面を構築することによって領域を学習します。この補間バイアスにより、非線形自己関連型ネットワークは、線形自己関連型ネットワークが不適切であるような非線形多峰領域の適切な分類を表現することができます。実際、隠れユニットの非線形性を持つ自己関連型ネットワークは、非線形分類および非線形認識を行うことができることが示されます。