競合する隠れユニットによる教師なし学習

エンドツーエンドのトレーニングをバックプロパゲーションアルゴリズムで行うことが、人工ニューラルネットワークの初期層で良好な特徴検出器を学習するために不可欠であると広く考えられています。これらの検出器は、そのニューラルネットワークの高層で行われるタスクに役立つものとされます。一方で、従来のバックプロパゲーションの形式は生物学的には不自然です。本論文では、ヘブのアイデアに基づき、シナプス強度の変化は局所的であるべきだという生物学的妥当性を持つ異常な学習ルールを提案します。すなわち、これは前シナプスおよび後シナプスニューロンの活動のみに依存します。私たちは、隠れ層でのグローバル抑制を利用し、完全に教師なしで初期の特徴検出器を学習できる学習アルゴリズムを設計しました。学習された下位層の特徴検出器は、高層の重みを通常の教師あり方式で訓練するために使用でき、結果として完全なネットワークの性能は、シンプルなタスクに対してバックプロパゲーションアルゴリズムでエンドツーエンドで訓練された標準的なフィードフォワードネットワークの性能に匹敵します。