深層ニューラルネットワークにおけるマルチバイアス非線形活性化

広く使用される非線形活性化である整流線形 unit（ReLU）は、閾値またはバイアスを学習することで特徴マップ内のノイズと信号を分離します。しかし、我々は、ノイズと信号の分類は応答の大きさだけでなく、高層でより抽象的なパターンを検出するために特徴応答がどのように使用されるかの文脈にも依存すると主張します。特定の視覚パターンのために異なる範囲の大きさで複数の応答マップを出力するために、ReLUおよびその変種を使用する既存のネットワークは、多くの冗長なフィルタを学習する必要があります。本論文では、応答の大きさに隠された情報を探求するために、マルチバイアス非線形活性化（MBA）層を提案します。これは、畳み込み層の後に配置され、畳み込みカーネルへの応答を複数のマップに分離することで、より多くのパターンを低い計算コストで生成します。異なる大きさの範囲で異なる視覚パターンに対する応答を選択する柔軟性を提供し、高層で豊かな表現を形成します。このシンプルでありながら効果的なスキームは、いくつかのベンチマークで最先端の性能を達成しています。