多モーダルなヘイトミーム検出モデルの説明

ヘイトミーム検出は、学術および産業研究コミュニティで重要な注目を集めている新しい多モーダルタスクです。最近、研究者たちは事前訓練された視覚言語モデルを適用して多モーダル分類タスクを行っており、これらのソリューションのいくつかは有望な結果をもたらしています。しかし、これらの視覚言語モデルがヘイトミーム分類タスクにおいて何を学んでいるのかは不明です。たとえば、これらのモデルがヘイトミームの多モーダリティ（画像とテキスト）の中で差別的または侮蔑的な言及を捉えることができるかどうかは不明です。この研究のギャップを埋めるために、本論文ではヘイトミーム分類タスクを実行するこれらの視覚言語モデルの理解を深めるために3つの研究質問を提案します。私たちは、画像モダリティがヘイトミーム分類タスクにより多く寄与していることを発見し、視覚言語モデルがある程度視覚-テキストの侮辱的内容を根拠づけることができることを示しています。我々の誤り分析はまた、視覚言語モデルがバイアスを獲得しており、その結果偽陽性予測が生じていることを示しています。