最適化された変分物理インフォームドニューラルネットワークのための最小二乗法

変分物理インフォームドニューラルネットワークは、確率的勾配降下法に基づく最適化手法を使用する際に収束が悪いことが多い。ニューラルネットワークの最終層の重みのために最小二乗法ソルバーを導入することで、ほとんどの実用的なシナリオにおいてトレーニング中の損失の収束を改善する。本論文では、得られたハイブリッド最小二乗法/勾配降下法最適化手法の計算コストを分析し、効率的な実装方法を説明する。特に、従来のバックワードモード自動微分に基づく実装では非常に高価なアルゴリズムが生じることを示す。この問題を解決するために、フォワードモード自動微分または試行関数の微分を回避する超弱型スキームを使用することを提案する。提案された代替手段は従来の手法よりも最大100倍速く、従来の勾配降下法に基づく最適化手法と同様の反復ごとの計算コストを回復する。分析を支援するために、計算推定を導出し、1次元および2次元問題において数値実験を行う。