バーロー双子: 冗長性削減による自己教師あり学習

自己教師あり学習（SSL）は、大規模コンピュータビジョンベンチマークにおいて教師あり手法と急速に接近しています。SSLの成功したアプローチは、入力サンプルの歪みに対して不変な埋め込みを学習することです。しかし、このアプローチには常に trivialな定常解が存在するという問題があります。現在のほとんどの手法は、実装の詳細に気を付けることでそのような解を避けています。我々は、サンプルの歪んだバージョンを供給された2つの同一ネットワークの出力間の相互相関行列を測定することで自然に崩壊を避ける目的関数を提案します。そして、それをアイデンティティ行列にできるだけ近づけることを目指します。これにより、サンプルの歪んだバージョンの埋め込みベクトルが類似し、これらのベクトルの成分間の冗長性が最小化されます。この手法は、同一ネットワークのペアに適用される神経科学者H.バーローの冗長性削減の原則に由来してバーロー双子と呼ばれます。バーロー双子は、大きなバッチや、予測ネットワーク、勾配の停止、重みの更新における移動平均などのネットワーク双子間の非対称性を必要としません。興味深いことに、非常に高次元の出力ベクトルから恩恵を受けます。バーロー双子は、低データ領域での半教師あり分類においてImageNet上の従来の手法を上回り、線形分類器ヘッドによるImageNet分類および分類と物体検出の転送タスクにおいて現在の最先端と同等の性能を示しています。