Gauravarora@HASOC-Dravidian-CodeMix-FIRE2020: Pre-entrenamiento de ULMFiT en datos generados sintéticamente combinados para la detección de discurso de odio

Este documento describe el sistema enviado a Dravidian-Codemix-HASOC2020: Identificación de discurso de odio y contenido ofensivo en lenguas dravídicas (Tamil-Inglés y Malayalam-Inglés). La tarea tiene como objetivo identificar lenguaje ofensivo en un conjunto de datos mezclados de comentarios/publicaciones en lenguas dravídicas recopilados de redes sociales. Participamos en ambas Sub-tareas A, que tiene como objetivo identificar contenido ofensivo en script mezclado (mezcla de script nativo y script romano) y Sub-tarea B, que tiene como objetivo identificar contenido ofensivo en script romano, para lenguas dravídicas. Para abordar estas tareas, propusimos el pre-entrenamiento de ULMFiT en datos generados sintéticamente combinados, generados modelando la generación de datos combinados como un proceso de Markov utilizando cadenas de Markov. Nuestro modelo logró un puntaje F1 ponderado de 0.88 para el idioma Tamil-Inglés combinado en la Sub-tarea B y obtuvo el 2° lugar en la tabla de posiciones. Además, nuestro modelo logró un puntaje F1 ponderado de 0.91 (4° lugar) para el Malayalam-Inglés en script mezclado en la Sub-tarea A y un puntaje F1 ponderado de 0.74 (5° lugar) para el idioma Malayalam-Inglés combinado en la Sub-tarea B.