Resumen de bajos recursos utilizando modelos de lenguaje preentrenados

Con el advenimiento de modelos de redes neuronales artificiales basados en Deep Learning, el procesamiento del lenguaje natural (NLP) ha experimentado mejoras significativas en el procesamiento de datos textuales en términos de eficiencia y precisión. Sin embargo, la investigación se limita en su mayoría a idiomas de alto recurso, como el inglés, y los idiomas de bajo recurso todavía sufren de la falta de recursos disponibles en términos de conjuntos de datos de entrenamiento, así como modelos con resultados de evaluación incluso en la línea base. Considerando la disponibilidad limitada de recursos para idiomas de bajo recurso, proponemos una metodología para adaptar modelos de arquitectura basados en transformadores auto-atentos (mBERT, mT5) para la resumición de bajo recurso, complementada por la construcción de un nuevo conjunto de datos de línea base (76.5k pares de artículos y resúmenes) en un idioma de bajo recurso, urdu. Elegir noticias (una fuente disponible públicamente) como el dominio de aplicación tiene el potencial de hacer que la metodología propuesta sea útil para reproducir en otros idiomas con recursos limitados. Nuestro modelo de resumición adaptado urT5, con una reducción de tamaño de hasta el 44.78% en comparación con mT5, puede capturar la información contextual del idioma de bajo recurso de manera efectiva con una puntuación de evaluación (hasta 46.35 ROUGE-1, 77 BERTScore) comparable a los modelos de vanguardia en el idioma de alto recurso del inglés (PEGASUS: 47.21, BART: 45.14 en el conjunto de datos XSUM). El método propuesto proporcionó un enfoque base hacia la resumición extractiva así como abstractive con resultados de evaluación competitivos en un conjunto de recursos limitados.