転送学習のための適応型マルチソースドメイン協調ファインチューニング

ファインチューニングは、トレーニングデータが不足しているタスクで重要な役割を果たす転送学習の技術であり、顕著な成功を収めています。しかし、ソースドメインとターゲットドメイン間のデータ分布の違いが大きい場合、単一ソースドメインのファインチューニングに対して効果的な特徴を抽出するのが難しいため、私たちはこの問題に対処するために適応型マルチソースドメイン協調ファインチューニング（AMCF）と呼ばれるマルチソースドメインに基づく転送学習フレームワークを提案します。AMCFは、コラボレーティブファインチューニングのために複数のソースドメインモデルを利用し、ターゲットタスクにおけるモデルの特徴抽出能力を向上させます。具体的には、AMCFは適応型マルチソースドメイン層選択戦略を採用して、複数のソースドメインモデルの中からターゲットタスクに適した層のファインチューニングスキームをカスタマイズし、より効率的な特徴を抽出することを目的としています。さらに、各ソースドメインモデルによるターゲットデータ特徴の正確な抽出を促進するために、新しいマルチソースドメイン協調ロス関数が設計されています。同時に、さまざまなソースドメインモデル間の出力差を最小限に抑えることにも取り組み、ソースドメインモデルのターゲットデータへの適応性を高めます。AMCFの有効性を検証するために、転送学習に一般的に使用される7つの公的視覚分類データセットに適用し、最も広く使用されている単一ソースドメインファインチューニング手法と比較します。実験結果は、既存のファインチューニング手法と比較して、私たちの手法はモデルの特徴抽出精度を向上させるだけでなく、ターゲットタスクに対する正確な層ファインチューニングスキームも提供し、ファインチューニングのパフォーマンスを大幅に向上させることを示しています。