RAGChecker: Un marco detallado para diagnosticar la Generación Aumentada por Recuperación

A pesar de que la Generación Aumentada por Recuperación (RAG) muestra una capacidad prometedora para aprovechar el conocimiento externo, una evaluación exhaustiva de los sistemas RAG sigue siendo un desafío debido a la naturaleza modular de RAG, la evaluación de respuestas extensas y la fiabilidad de las mediciones. En este documento, proponemos un marco de evaluación detallada, RAGChecker, que incorpora un conjunto de métricas de diagnóstico tanto para los módulos de recuperación como de generación. La meta evaluación verifica que RAGChecker tiene correlaciones significativamente mejores con los juicios humanos que otras métricas de evaluación. Usando RAGChecker, evaluamos 8 sistemas RAG y llevamos a cabo un análisis en profundidad de su rendimiento, revelando patrones y compensaciones reveladoras en las decisiones de diseño de las arquitecturas RAG. Las métricas de RAGChecker pueden guiar a investigadores y profesionales en el desarrollo de sistemas RAG más efectivos. Este trabajo ha sido publicado como código abierto en https://github.com/amazon-science/RAGChecker.