Desentrañando y Mitigando Inconsistencias de Recuperadores en Modelos de Lenguaje Ampliados por Recuperación

Aunque los Modelos de Lenguaje Ampliados por Recuperación (RALMs) demuestran su superioridad en términos de factualidad, no superan consistentemente a los Modelos de Lenguaje (LM) originales sin recuperación. Nuestros experimentos revelan que esta inconsistencia en el rendimiento a nivel de ejemplo existe no solo entre el LM ampliado por recuperación y el LM sin recuperación, sino también entre diferentes recuperadores. Para comprender este fenómeno, investigamos el comportamiento de degeneración de los RALMs y lo descomponemos teóricamente en cuatro categorías. Un análisis adicional basado en nuestra descomposición revela que la diferencia innata en las fuentes de conocimiento y la degeneración impredecible del modelo lector contribuyen en gran medida a la inconsistencia. Basándonos en nuestro análisis, introducimos el Conjunto de Recuperadores (EoR), un marco entrenable que puede recuperar de manera adaptativa de diferentes fuentes de conocimiento y reducir efectivamente errores impredecibles del lector. Nuestros experimentos en Respuestas a Preguntas de Dominio Abierto muestran que EoR mejora sustancialmente el rendimiento del RALM con un solo recuperador, reduciendo considerablemente comportamientos inconsistentes.