Dense Passage Retrieval: ¿está recuperando?

Los Large Language Models (LLMs) almacenan internamente repositorios de conocimiento. Sin embargo, su acceso a este repositorio es impreciso y con frecuencia alucinan información que no es verdadera o no existe. Un paradigma llamado Retrieval Augmented Generation (RAG) promete solucionar estos problemas. La Dense passage retrieval (DPR) es el primer paso en este paradigma. En este artículo, analizamos el papel del finetuning de DPR y cómo afecta al modelo que se está entrenando. DPR ajusta finamente redes preentrenadas para mejorar la alineación de los embeddings entre las consultas y los datos textuales relevantes. Exploramos los modelos entrenados con DPR de forma mecanicista mediante una combinación de probing, análisis de activación de capas y edición de modelos. Nuestros experimentos demuestran que el entrenamiento con DPR descentraliza la forma en que se almacena el conocimiento en la red, creando múltiples vías de acceso a la misma información. También descubrimos una limitación en este estilo de entrenamiento: el conocimiento interno del modelo preentrenado delimita lo que el modelo de recuperación puede recuperar. Estos hallazgos sugieren algunas posibles direcciones para la recuperación densa: (1) exponer el proceso de entrenamiento de DPR a más conocimiento para que se pueda descentralizar más, (2) inyectar hechos como representaciones descentralizadas, (3) modelar e incorporar la incertidumbre del conocimiento en el proceso de recuperación y (4) mapear directamente el conocimiento interno del modelo a una base de conocimiento.