対比音声-言語モデルのドメイン適応

音声-言語モデル（ALM）は、テスト時にゼロショット機能を提供することによって、汎用音声モデルを目指しています。ALMのゼロショット性能は、各ドメインに適したテキストプロンプトを使用することで向上します。これらのテキストプロンプトは通常、特別なプロセスを通じて手作業で作成され、ALMの一般化能力や配布外性能に影響を与えることがあります。少数ショット学習やファインチューニングのような、ドメイン性能を向上させるための既存のアプローチは、注釈付きデータへのアクセスとトレーニングのイテレーションを必要とします。そのため、私たちは、注釈へのアクセスを必要としないALM向けのテスト時ドメイン適応手法を提案します。我々の手法は、テスト音声の拡張したビュー間での一貫性を強制することによって、ドメインベクトルを学習します。私たちは、12のダウンストリームタスクにわたってこのアプローチを広範に評価しました。たった1つの例で、私たちのドメイン適応手法は、ゼロショット性能を平均で3.2%（最大8.4%）向上させます。適応後も、モデルはALMの一般化特性を保持します。