Détection de discours de haine dans les mèmes à l'aide d'approches d'apprentissage profond multimodal : solution primée au Hateful Memes Challenge

Les mèmes sur Internet sont souvent inoffensifs et parfois amusants. Cependant, en utilisant certains types d'images, de texte ou des combinaisons des deux, le mème apparemment inoffensif devient un type multimodal de discours de haine -- un mème haineux. Le Hateful Memes Challenge est une compétition sans précédent qui se concentre sur la détection des discours de haine dans des mèmes multimodaux et qui propose un nouvel ensemble de données contenant plus de 10 000 nouveaux exemples de contenu multimodal. Nous utilisons VisualBERT -- qui est conçu pour être le BERT de la vision et du langage -- qui a été entraîné multimodalement sur des images et des légendes et applique l'apprentissage par ensemble. Notre approche atteint un AUROC de 0,811 avec une précision de 0,765 sur l'ensemble de test du challenge et s'est classée troisième sur 3 173 participants au Hateful Memes Challenge.