効率的な差分プライバシーによる拡散モデルのファインチューニング

最近の拡散モデル（DM）の発展により、驚くほど高品質な合成サンプルの生成が可能になりました。最近の研究では、公共データで事前トレーニングされ、プライベートデータに対して差分プライバシーで完全にファインチューニングされた拡散モデルによって生成された合成サンプルが、下流の分類器をトレーニングできることが示されており、プライバシーとユーティリティの良好なトレードオフが達成されています。しかし、そのような大規模な拡散モデルをDP-SGDで完全にファインチューニングすることは、メモリ使用量と計算の観点から非常にリソースを要求します。本研究では、差分プライバシーを用いた低次元適応（LoDA）を活用した拡散モデルのパラメータ効率的ファインチューニング（PEFT）を調査します。提案された方法をMNISTおよびCIFAR-10データセットで評価し、効率的なファインチューニングが下流の分類器のトレーニングに有用な合成サンプルを生成できることを示し、ファインチューニングデータのプライバシー保護が保証されることを示します。ソースコードはGitHubで公開される予定です。