弱い監視による対比事前学習によるテキスト埋め込み

本稿では、幅広いタスクにうまく転送される最先端のテキスト埋め込みのファミリーであるE5を紹介します。このモデルは、キュレーションされた大規模テキストペアデータセット（CCPairsと呼ばれる）からの弱い監視信号を用いて対比的に訓練されています。E5は、検索、クラスタリング、分類など、単一ベクトル表現を必要とする任意のタスクに対して汎用的な埋め込みモデルとして簡単に使用でき、ゼロショットおよびファインチューニングされた設定の両方で優れた性能を達成しています。BEIRおよびMTEBベンチマークの56のデータセットに関して広範な評価を実施しました。ゼロショット設定において、E5はラベル付きデータを使用せずにBEIR検索ベンチマークで強力なBM25ベースラインを上回る最初のモデルです。ファインチューニングされた場合、E5はMTEBベンチマークで最高の結果を得ており、既存の埋め込みモデルを40倍のパラメータで打ち負かしています。