シグモイド関数の重ね合わせに対する普遍的近似境界

人工ニューラルネットワークのクラスの近似特性が確立されました。シグモイド非線形性の1層を持つフィードフォワードネットワークは、ノードの数をnとした場合、O(1/n)の誤差を達成することが示されました。近似された関数は、フーリエ変換の大きさ分布の第一次モーメントに対する上限を持つと仮定されています。シグモイドノードに関連する非線形パラメータと線形結合のパラメータは、近似において調整されます。対照的に、線形結合のパラメータのみが調整されるn項の級数展開に対しては、同じ滑らかさの仮定を満たす関数に対して、統一的にO(1/n^2)より小さくすることができないことが示されました。調査した関数のクラスに対して、近似率およびネットワークのパラメータ化の簡潔さは、高次元の設定で有利であることが示されました。