音声認識のための加速可能な並列ニューラルネットワーク学習アルゴリズム

スケーラブルなディープニューラルネットワークに基づく音声認識の重要な要素として、最近開発した一連の新しいバッチモードアルゴリズムについて説明します。これらのアルゴリズムの本質は、単一隠れ層のニューラルネットワークを構築し、上位層の重みが下位層の重みの決定論的関数として表示できるようにすることです。この構造は、勾配を計算する際に決定論的関数を最小二乗誤差目的関数に差し込むことで、効果的に活用されます。重みの更新が最も有望な方向に向かうように、さらなる加速技術が活用されます。TIMITフレームレベルの音素および音素状態分類に関する実験は、強力な結果を示しています。特に、ミニバッチサイズが増加するにつれてエラーレートが厳密に単調に低下することが示されました。これは、提案されたバッチモードアルゴリズムが大規模音声認識において高い可能性を持っていることを示しており、コンピュータ間で簡単に並列化できるためです。キーワード：ニューラルネットワーク、スケーラビリティ、構造、制約、FISTA加速、最適化、擬似逆行列、加重最小二乗誤差、音素状態分類、音声認識、ディープラーニング