効率的なクロスモーダル検索のためのクロスドメイン転送ハッシュ

教師なしのクロスモーダルハッシングは、異種モダリティ検索において重要な利点を提供し、ラベルのスケーラビリティ、高い検索効率、低い保管コストを提供します。しかし、このプロセスには明示的な意味的監視が欠如しているため、顕著な意味的欠如が生じ、検索性能に影響を及ぼします。本論文では、この課題に対処するために、デュアルプランのアプローチを提案します：クロスドメイン転送ハッシュ（CDTH）、軽量で弱い監視下でのクロスモーダルハッシングモデルです。我々の手法は、ターゲットの教師なしクロスモーダルハッシュ学習プロセスを補強するために、意味的に豊かな補助ドメインを活用します。さらに、意味要件を減少させるために、軽量なターゲットクロスモーダルハッシングネットワークを設計します。補助ドメイン内では、ハッシングネットワークパラメータ転送による直接的な意味転送と、特定されたクロスドメイン意味的一貫性サンプルを用いて補助的な意味的相関グラフを構築することで間接的な相関意味転送を実施します。ターゲットドメインでは、CLIPを用いて擬似ラベルを生成し、ターゲット弱意味相関グラフを構築します。これら2つのグラフは、ターゲットクロスモーダルハッシングトレーニングプロセスを強化するために協力します。3つの公に入手可能なデータセットにおける広範な実験により、検索精度とトレーニング効率の両方において我々のアプローチの優位性が確認されました。我々の手法のソースコードは次のリンクからアクセスできます： https://github.com/WangBowen7/CDTH。