高速非監視文センテンス表現学習のための談話に基づく目的

本研究では、ニューラルネットワークの文エンコーダーの非監視トレーニングのための新しい目的関数を提案します。段落レベルの談話的一貫性からの信号を利用して、これらのモデルがテキストを理解できるようにトレーニングします。我々の目的は純粋に識別的であり、従来の方法に比べてモデルをはるかに高速でトレーニングでき、外部評価においても良好な性能を発揮します。