Turk-LettuceDetect: Un Modelo de Detección de Alucinaciones para Aplicaciones RAG en Turco

La adopción generalizada de Modelos de Lenguaje Grandes (LLMs) se ha visto obstaculizada por su tendencia a alucinar, generando información plausible pero fácticamente incorrecta. Mientras que los sistemas de Generación Aumentada por Recuperación (RAG) intentan abordar este problema mediante la fundamentación de respuestas en conocimientos externos, la alucinación sigue siendo un desafío persistente, particularmente para lenguas morfológicamente complejas y con pocos recursos como el turco. Este artículo presenta Turk-LettuceDetect, el primer conjunto de modelos de detección de alucinaciones diseñado específicamente para aplicaciones RAG en turco. Basándonos en el marco de LettuceDetect, formulamos la detección de alucinaciones como una tarea de clasificación a nivel de token y ajustamos tres arquitecturas de codificadores distintas: un ModernBERT específico para el turco, TurkEmbed4STS y un EuroBERT multilingüe. Estos modelos fueron entrenados en una versión traducida automáticamente del conjunto de datos de referencia RAGTruth que contiene 17,790 instancias en tareas de respuesta a preguntas, generación de datos a texto y resumen. Nuestros resultados experimentales muestran que el modelo basado en ModernBERT logra un F1-score de 0.7266 en el conjunto de prueba completo, con un rendimiento particularmente sólido en tareas estructuradas. Los modelos mantienen eficiencia computacional mientras soportan contextos largos de hasta 8,192 tokens, lo que los hace adecuados para su implementación en tiempo real. El análisis comparativo revela que aunque los LLMs de última generación muestran una alta recuperación, sufren de baja precisión debido a la sobregeneración de contenido alucinado, subrayando la necesidad de mecanismos de detección especializados. Al liberar nuestros modelos y el conjunto de datos traducido, este trabajo aborda una brecha crítica en PLN multilingüe y establece una base para el desarrollo de aplicaciones de IA más confiables y dignas de confianza para el turco y otros idiomas.