不完全な気候データの分析：平均値と共分散行列の推定および欠損値の補完

不完全なデータセットの平均および共分散行列を推定し、欠損値を補完値で埋めることは、通常、反復的に解決しなければならない非線形の問題です。ガウスデータに対する期待最大化（EM）アルゴリズムは、不完全なデータセットからの平均値および共分散行列の推定と欠損値の補完の両方に関する反復法であり、正則化されたEMアルゴリズムの開発の出発点として採用されます。従来のEMアルゴリズムとは対照的に、正則化されたEMアルゴリズムは、変数の数が典型的にサンプルサイズを超える気候データのセットに適用できます。正則化されたEMアルゴリズムは、利用可能な値の変数に対して欠損値の変数を線形回帰分析することに基づいており、回帰係数はリッジ回帰によって推定されます。これは、データのノイズのフィルタリングを制御する連続的な正則化パラメータを持つ正則化回帰手法です。正則化パラメータは、補完値の期待された平均二乗誤差をおおよそ最小化するように一般化交差検証によって決定されます。正則化されたEMアルゴリズムは、空間的共変動、定常的な時間共変動、または周期的定常的な時間共変動に関する情報を含む可能性のある同時および非同時共分散行列の推定と欠損値の補完に利用できます。シミュレーションされた表面温度データによる正則化されたEMアルゴリズムのテストは、このアルゴリズムが典型的な気候データのセットに適用可能であり、従来の非反復的補完技術よりも欠損値のより正確な推定を導くことを示しています。