La dirección en tiempo de inferencia tiene como objetivo alterar las respuestas de un modelo de lenguaje grande (LLM) sin cambiar sus parámetros, pero un desafío central es identificar los módulos internos que gobiernan más fuertemente el comportamiento objetivo. Enfoques existentes a menudo dependen de señales simplistas o heurísticas ad hoc, lo que lleva a efectos subóptimos o no intencionados. Introducimos REAL, un marco para identificar módulos relevantes para el comportamiento (cabezas de atención o capas) en modelos de transformadores. Para cada módulo, REAL entrena un autoencoder cuantizado por vectores (VQ-AE) en sus activaciones ocultas y utiliza un libro de códigos compartido y aprendible para particionar el espacio latente en subespacios relevantes e irrelevantes para el comportamiento. REAL cuantifica la relevancia conductual de un módulo por cómo sus codificaciones VQ-AE discriminan respuestas alineadas con el comportamiento de aquellas que lo violan mediante una métrica de clasificación binaria; esta puntuación guía tanto la selección de módulos como la intensidad de la dirección. Evaluamos REAL en ocho LLMs de las familias Llama y Qwen y en nueve conjuntos de datos que abarcan la mejora de veracidad, QA de dominio abierto bajo conflictos de conocimiento y tareas generales de alineación. REAL permite intervenciones más efectivas en tiempo de inferencia, logrando una mejora relativa promedio del 20% (hasta el 81.5%) sobre el método ITI en dirección de veracidad. Además, los módulos seleccionados por REAL exhiben una fuerte generalización en escenarios de dirección de veracidad de zero-shot.
Zhan et al. (Tue,) estudiaron esta cuestión.