ブートレッグ：自己教師ありの固有表現の曖昧さ解消による尾を追う

固有表現の曖昧さ解消（NED）の課題の一つは、トレーニングデータに稀に出現するエンティティ、すなわち尾エンティティをどのように曖昧さを解消するかです。人間は、エンティティに関する事実、関係、およびタイプの知識に基づく微妙な推論パターンを使用して、馴染みのないエンティティを曖昧さを解消します。これらのパターンに触発されて、ブートレッグという自己教師ありのNEDシステムを提案します。このシステムは、曖昧さ解消のための推論パターンに明示的に基づいています。曖昧さ解消のための核心的な推論パターンを定義し、自己教師ありモデルがこれらのパターンを学習することを促す学習手順を作成します。また、弱い監視を利用してトレーニングデータの信号を強化する方法を示します。単純なトランスフォーマーアーキテクチャに推論パターンをエンコードし、ブートレッグは三つのNEDベンチマークで最先端の性能を達成または超えます。さらに、ブートレッグから学習した表現がエンティティベースの知識を必要とする他の非曖昧化タスクにうまく転送されることを示します。人気のあるTACRED関係抽出タスクで1.0 F1ポイントの新しい最先端を確立し、主要なテクノロジー企業の高最適化された生産検索およびアシスタントタスクで最大8％のパフォーマンス向上を示します。