Aprendizaje de Pocos Ejemplos Con LLM Mejorados por Variedades para Manejar Entradas de Percepción Anómalas en la Conducción Autónoma

Con la adopción generalizada de sistemas de conducción avanzada (ADS), estos sistemas deben enfrentar escenarios de conducción cada vez más complejos. Sin embargo, los modelos de aprendizaje profundo basados en datos dependen en gran medida de grandes cantidades de datos de entrenamiento y pueden tener un rendimiento inadecuado cuando se enfrentan a situaciones novedosas. En consecuencia, el aprendizaje de pocos ejemplos se ha convertido en un tema clave en el campo de la conducción autónoma. Sin embargo, el aprendizaje de pocos ejemplos exige modelos con fuertes habilidades de generalización y extrapolación y tiende a ser vulnerable a entradas anómalas. Los módulos de percepción en los sistemas ADS actuales no son infalibles, y sigue existiendo una pequeña posibilidad de que se genere información inexacta, lo que podría afectar potencialmente el proceso de toma de decisiones. Para abordar este problema, proponemos un marco innovador de aprendizaje de pocos ejemplos basado en modelos de lenguaje grandes (LLMs) que pueden comprender el contexto y tomar decisiones correctas a pesar de la presencia de entradas anómalas. Este marco desacopla el espacio textual de alta dimensión de los LLMs en un espacio de baja dimensión adaptado para la conducción autónoma, lo que permite un razonamiento de sentido común dentro de este espacio. Al integrar este espacio con el espacio textual, creamos una variedad de decisiones que permite procesos de razonamiento y toma de decisiones efectivos. El marco también mantiene una base de datos de autocorrección externa que actualiza continuamente las experiencias para guiar la construcción de variedades, facilitando el aprendizaje continuo. Los resultados experimentales demuestran que nuestro marco reduce las tasas de colisión en un 14% en comparación con GPT-Driver cuando se prueba con datos anómalos. Esto confirma una mayor seguridad en entornos de conducción complejos con irregularidades perceptuales.