Promoción de Tokens Multi-Modales para Mejorar la Conducción Autónoma de Extremo a Extremo Aprendizaje por Imitación con LLMs

La utilización de Modelos de Lenguaje Grande (LLMs) en el ámbito del aprendizaje por refuerzo, particularmente como planificadores, ha atraído un grado significativo de atención en la literatura académica reciente. Sin embargo, una proporción sustancial de la investigación existente se centra predominantemente en modelos de planificación para robótica que transforman los resultados derivados de modelos de percepción en formas lingüísticas, adoptando así una estrategia de `lenguaje puro'. En esta investigación, proponemos un marco de aprendizaje híbrido de extremo a extremo para la conducción autónoma al combinar el aprendizaje por imitación de conducción básica con LLMs basados en tokens de aviso de multi-modalidad. En lugar de simplemente convertir los resultados de percepción del modelo de tren separado en entrada de lenguaje puro, nuestra novedad reside en dos aspectos. 1) La integración de extremo a extremo de la entrada sensorial visual y LiDAR en tokens de multi-modalidad aprendibles, aliviando intrínsecamente así el sesgo de descripción de los modelos de percepción pre-entrenados separados. 2) En lugar de permitir que los LLMs conduzcan directamente, este artículo explora un entorno híbrido que permite a los LLMs ayudar al modelo de conducción a corregir errores y escenarios complicados. Los resultados de nuestros experimentos sugieren que la metodología propuesta puede alcanzar puntuaciones de conducción del 49.21%, junto con una impresionante tasa de finalización de ruta del 91.34% en la evaluación offline realizada a través de CARLA. Estas métricas de rendimiento son comparables a los modelos de conducción más avanzados.