コルモゴロフ–アーノルド表現定理の再考

コルモゴロフ–アーノルド表現定理がニューラルネットワークにおける複数の隠れ層の使用を説明できるかどうかについて、長年の議論があります。コルモゴロフ–アーノルド表現は多変数関数を内部関数と外部関数に分解するため、実際に2つの隠れ層を持つニューラルネットワークに似た構造を持っています。しかし、明確な違いも存在します。主な障害の一つは、外部関数が表現される関数に依存し、表現される関数が滑らかであっても大きく変動する可能性があることです。私たちは、表現される関数の滑らかさの特性を外部関数に移すコルモゴロフ–アーノルド表現の修正を導出し、ReLUネットワークによって良く近似できることを示します。コルモゴロフ–アーノルド表現のより自然な解釈は、2つの隠れ層ではなく、ほとんどの層が内部関数を近似するために必要な深層ニューラルネットワークの形であるようです。