Evaluación de la descomposición de preguntas de múltiples saltos utilizando modelos de lenguaje enmascarados

La respuesta a preguntas (QA) es un subcampo del procesamiento de lenguaje natural (NLP) que se centra en desarrollar sistemas capaces de responder consultas en lenguaje natural. Dentro de este dominio, la respuesta a preguntas de múltiples saltos representa una tarea avanzada de QA que requiere reunir y razonar sobre múltiples piezas de información de diversas fuentes o pasajes. Para abordar la complejidad de las preguntas de múltiples saltos, la descomposición de preguntas ha demostrado ser un enfoque valioso. Esta técnica implica descomponer preguntas complejas en sub-preguntas más simples, reduciendo la complejidad del problema. Sin embargo, vale la pena señalar que los métodos de descomposición de preguntas existentes a menudo dependen de datos de entrenamiento, que pueden no estar siempre disponibles para lenguajes de bajos recursos o dominios especializados. Para abordar este problema, proponemos un enfoque novedoso que utiliza modelos de lenguaje enmascarados preentrenados para puntuar candidatos de descomposición de manera zero-shot. El método implica generar candidatos de descomposición, puntuarlos utilizando una estimación de pseudo-verosimilitud y clasificarlos según sus puntajes. Para evaluar la eficacia del proceso de descomposición, realizamos experimentos en dos conjuntos de datos anotados sobre descomposición en dos lenguajes diferentes, árabe e inglés. Posteriormente, integramos nuestro enfoque en un sistema de QA completo y realizamos una evaluación del rendimiento de comprensión lectora en el conjunto de datos HotpotQA. Los resultados obtenidos enfatizan que, aunque el sistema mostró una pequeña caída en el rendimiento, aún mantuvo un avance significativo en comparación con el modelo base. El enfoque propuesto destaca la eficiencia de la técnica de puntuación del modelo de lenguaje en tareas de razonamiento complejo como la descomposición de preguntas de múltiples saltos.