ウェブから学ぶ：言語が意味セグメンテーションの弱教師あり増分学習を駆動する

現在の意味セグメンテーションにおける弱教師あり増分学習（WILSS）アプローチは、ピクセルレベルのアノテーションを画像レベルのラベルで置き換えることのみを考慮していますが、トレーニング画像は依然としてよく設計されたデータセットからのものです。この研究では、広く利用可能なウェブ画像も新しいクラスの学習に考慮することができると主張します。これを達成するために、まず、フーリエベースのドメイン識別器を使用して、潜在空間で以前に見た例に類似したウェブ画像を選択する戦略を導入します。次に、以前に学習したクラスを保持するための効果的なキャプション駆動のリハーサル戦略を提案します。私たちの知識では、これは新しい概念の学習とWILSSにおける既に学習したクラスの保持の両方にウェブ画像のみを依存する最初の研究です。実験結果は、提案されたアプローチが増分ステップにおいて手動で選択されたアノテーションデータを使用せずに、最先端のパフォーマンスを達成できることを示しています。