Poda de vocabulario consciente del contexto para la aceleración de la inferencia de LLM

Puntos clave

• Investigar e implementar un método para podar el vocabulario durante la decodificación de LLM para mejorar la velocidad de inferencia sin alterar los pesos del modelo.
• Desarrollado un enrutador de doble codificador para la poda de vocabulario
• Aplicada la poda en cada paso de decodificación del LLM
• Reducción de costos asociados con la multiplicación de matrices en el lm_head
• Reducción significativa de los costos computacionales durante la inferencia
• Mantenimiento del rendimiento del modelo sin modificaciones en los pesos
• Logrados tiempos de inferencia más rápidos con el nuevo enfoque de poda