整流線形ユニットを用いた深層ニューラルネットワークの理解

本論文では、整流線形ユニット（ReLU）を持つ深層ニューラルネットワーク（DNN）によって表現可能な関数のファミリーを調査します。データサイズに対して多項式の実行時間を持ち、入力次元に対して指数的であっても、1つの隠れ層を持つReLU DNNを*グローバル最適性*に訓練するアルゴリズムを提示します。さらに、浅いReLUネットワークによって近似されるReLU深層ネット関数のサイズに関する既知の下限（指数的から超指数的に）を改善します。我々のギャップ定理は、文献で知られている可算的な離散ファミリーとは対照的に、滑らかにパラメータ化された「ハード」関数のファミリーに対して成立します。我々のギャップ定理の一例として、任意の自然数kに対して、k²の隠れ層と合計サイズk³を持つReLU DNNによって表現可能な関数が存在し、隠れ層が最大kのReLU DNNは少なくとも12k^k+1-1個の合計ノードを必要とすることを示します。最後に、ReLU活性化を持つRⁿ R DNNのファミリーに対して、ネットワークアーキテクチャの特定の領域での以前の構成よりも大きいアフィン部分数に関する新しい下限を示します。そして最も顕著なことは、我々の下限がこのスケーリングを達成する関数の*滑らかにパラメータ化された*ファミリーの明示的な構成によって示されることです。我々の構成は、重心体理論に関する理論を利用しています。