ベイズニューラルネットワークにおける明確に定義された関数空間変分推論のための正則化KLダイバージェンス

ベイズニューラルネットワーク（BNN）は、神経ネットワークの予測性能と、安全性が重要なシステムや意思決定に不可欠な原則に基づく不確実性モデルを組み合わせることを約束します。しかし、事後不確実性の推定は事前の選択に依存しており、重み空間での情報量の多い事前を見つけることは困難であることが証明されています。これが、BNNによって生成された関数に直接事前を置く変分推論（VI）手法を動機づけています。本論文では、Burt et al. (2020) が指摘したこのような関数空間VIアプローチに関する基本的な問題に取り組みます。彼らは、目的関数（ELBO）が関心のあるほとんどの事前に対して負の無限大であることを示しました。我々の解決策は、一般化されたVI (Knoblauch et al., 2019) を正則化KLダイバージェンス (Quang, 2019) に基づいて構築し、我々の知る限り、ガウス過程 (GP) 事前を持つBNNにおける関数空間推論のための初の明確に定義された変分目的です。実験結果は、我々の手法が合成および小規模な実世界データセットにおけるGP事前によって指定された特性を組み込んでおり、回帰、分類、分布外検出のための不確実性推定をBNNの基準と比較して競争力のあるものにしていることを示しています。