堅牢な形態素タグ付けと語の表現

我々は、品詞（POS）および形態素タグ付けのための語の表現について比較調査を行い、訓練データとテストデータの間にかなりの違いがあるシナリオに焦点を当て、堅牢なアプローチが必要であることを示します。特定のドメインにモデルを適応させるのではなく、我々はドメインを超えた堅牢なモデルを構築することを目指しています。堅牢なタグ付けのためのテストスイートを開発し、6つの言語と異なるドメインを含んでいます。Brownクラスタに似た表現がPOSタグ付けに最適であり、言語的形態素解析器に基づく語の表現が形態素タグ付けに最適であることがわかりました。