単語とフレーズの分散表現とその合成性

最近導入された連続Skip-gramモデルは、多くの正確な構文的および意味的な単語関係を捉える高品質な分散ベクトル表現を学習するための効率的な方法です。本論文では、ベクトルの質と訓練速度を改善するいくつかの拡張を示します。頻出単語のサブサンプリングによって、著しいスピードアップを達成し、より規則的な単語表現を学習します。また、階層的ソフトマックスに代わるシンプルな方法として、ネガティブサンプリングについても説明します。単語表現の固有の限界は、単語の順序に無関心であり、慣用句を表現する能力がないことです。例えば、「カナダ」と「エア」の意味は、「エア カナダ」を得るために容易に結合されることはありません。この例に動機付けられて、テキスト中のフレーズを見つけるためのシンプルな方法を提案し、数百万のフレーズに対して良いベクトル表現を学ぶことが可能であることを示します。