拡散モデルのための転移学習

拡散モデルは、特定のタイプの生成モデルであり、近年前例のない性能を達成し、高品質な合成サンプルを一貫して生成しています。その顕著な成功のための重要な前提条件は、実際のアプリケーションでは高い収集コストや関連するリスクのために実現が難しい大規模なトレーニングサンプルの存在です。そのため、既存の事前学習モデルから限られたデータを持つ特定のターゲットドメインへの知識を転送するために、さまざまなファインチューニングと正則化アプローチが提案されました。本論文では、従来のファインチューニングおよび正則化手法とは異なる新しいアプローチである「転移ガイド拡散プロセス（TGDP）」を紹介します。ターゲットドメインの最適な拡散モデルは、ソースドメインの事前学習された拡散モデルとドメイン分類器からの追加的なガイダンスを統合することを証明します。さらに、データと対応するラベルの結合分布をモデル化するための条件付きバージョンにTGDPを拡張し、モデルの性能を向上させるための二つの追加の正則化項を加えます。TGDPの効果をガウス混合シミュレーションおよび実際の心電図（ECG）データセットで検証します。