ProGCL: グラフコントラスト学習におけるハードネガティブマイニングの再考

コントラスト学習（CL）は、非監視表現学習のための優れた技術として出現し、アンカーの増強版を互いに近くに埋め込み（ポジティブサンプル）、他のサンプル（ネガティブ）を遠ざけます。最近の研究で明らかになったように、CLはハードネガティブ（アンカーに最も類似しているネガティブ）の恩恵を受ける可能性があります。しかし、グラフコントラスト学習（GCL）に他の領域の既存のハードネガティブマイニング技術を採用した際には、限られた利点しか観察できませんでした。この現象について実験的および理論的な分析を行った結果、グラフニューラルネットワーク（GNN）のメッセージパッシングに起因することが分かりました。その他の領域のCLとは異なり、ほとんどのハードネガティブは、アンカーとの類似性に基づいて単に選択された場合に潜在的に偽陰性（アンカーと同じクラスを共有するネガティブ）であり、同じクラスのサンプルを望ましくない形で遠ざけてしまいます。この欠陥を補うために、ネガティブが真のものである確率を推定する効果的な方法「ProGCL」を提案し、ネガティブの硬さを類似性とともにより適切に測定します。さらに、GCLのパフォーマンスを向上させる2つのスキーム（すなわち、ProGCL-weightおよびProGCL-mix）を考案しました。広範な実験により、ProGCLがベースのGCL手法に対して顕著かつ一貫した改善をもたらし、複数の非監視ベンチマークで最先端の結果を得たり、さらには監視学習の結果を上回ることが示されました。さらに、ProGCLは、さまざまなネガティブベースのGCL手法にプラグインしやすく、パフォーマンスの向上を図ることができます。コードは以下で公開しています: magentahttps://github.com/junxia97/ProGCL.