Lorsque les ensembles de données POS ne s’additionnent pas : Lutter contre le biais d'échantillon

Plusieurs travaux en traitement du langage naturel se sont récemment penchés sur l'annotation des parties du discours (POS) des données Twitter et ont généralement utilisé leurs propres ensembles de données. Étant donné que les conventions sur Twitter changent rapidement, les modèles montrent souvent un biais d'échantillon. L'entraînement sur une combinaison des ensembles de données existants devrait aider à surmonter ce biais et à produire des modèles plus robustes que ceux formés sur les corpus individuels. Malheureusement, combiner les corpus existants s'avère difficile : de nombreux corpus utilisent des ensembles de balises propriétaires qui ont peu ou pas de chevauchement. Même lorsqu'ils sont cartographiés vers un ensemble de balises commun, les différents corpus diffèrent systématiquement dans leur traitement de diverses balises et tokens. Cela inclut à la fois les décisions de prétraitement, ainsi que les étiquettes par défaut pour les tokens fréquents, exhibant ainsi respectivement un biais de données et un biais d'étiquetage. Ce n'est qu'en abordant ces biais que nous pourrons combiner les ensembles de données existants pour surmonter également le biais d'échantillon. Nous présentons une étude systématique de plusieurs ensembles de données Twitter POS, les problèmes de biais d'étiquetage et de données, discutons de leurs effets sur les performances des modèles et montrons comment les surmonter pour apprendre des modèles qui performent bien sur divers ensembles de test, atteignant une réduction d'erreur relative allant jusqu'à 21%.