手描きスケッチのための深層自己教師あり表現学習

本論文では、手描きスケッチのための自己教師あり表現学習という問題に初めて取り組みます。これは、スケッチコミュニティが直面する共通の問題、すなわち注釈付きの監視データを取得することが難しいという問題に重要に対処します。この問題は非常に困難で、スケッチは非常に抽象的で異なる描画スタイルに影響されるため、既存の写真専用の解決策は適していません。私たちの自己教師あり学習パラダイムの成功の鍵は、スケッチ特有のデザインにあります。(i) 異なる描画スタイルを模倣するためにスケッチ専用に設計された一連の前提タスクを提案し、(ii) スケッチの特徴学習のためにテキスト畳み込みネットワーク（TCN）と畳み込みニューラルネットワーク（CNN）をデュアルブランチアーキテクチャで組み合わせて、スケッチの連続的なストローク特性に対応しています。私たちは、100万規模のスケッチデータセットにおける2つのスケッチ関連アプリケーション（検索と認識）を通じて、スケッチ特有のデザインの優位性を示し、提案されたアプローチが最先端の教師なし表現学習法を上回り、教師あり表現学習とのパフォーマンスギャップを大幅に縮小することを示します。本研究のPyTorchコードは、https://github.com/zzz1515151/self-supervisedₗearningₛketch にて入手可能です。