Modelo cognitivo inspirado en el cerebro con atención para coches autónomos

El enfoque basado en la percepción y el sistema de extremo a extremo son dos marcos principales basados en la visión para coches autónomos. Sin embargo, es difícil introducir atención e información histórica en el proceso de conducción autónoma, que son esenciales para lograr una conducción similar a la humana en estos dos métodos. En este documento, proponemos un modelo novedoso para coches autónomos llamado modelo cognitivo inspirado en el cerebro con atención. Este modelo consta de tres partes: 1) una red neuronal convolucional para simular la corteza visual humana; 2) un mapa cognitivo para describir las relaciones entre objetos en una escena de tráfico compleja; y 3) una red neuronal recurrente, que se combina con el mapa cognitivo actualizado en tiempo real para implementar el mecanismo de atención y la memoria a corto y largo plazo. Una ventaja de nuestro modelo es que puede resolver con precisión tres tareas simultáneamente: 1) detectar el espacio libre y los límites para los carriles actuales y adyacentes; 2) estimar las distancias a los obstáculos y la actitud del vehículo; y 3) aprender el comportamiento de conducción y el proceso de toma de decisiones de un conductor humano. Es importante destacar que el modelo propuesto puede aceptar instrucciones de navegación externas durante un proceso de conducción de extremo a extremo. Para evaluar el modelo, construimos un conjunto de datos de vehículos en carretera a gran escala que contiene más de 40000 imágenes de carretera etiquetadas capturadas por tres cámaras colocadas en nuestro coche autónomo. Además, las actividades de conducción humanas y los estados del vehículo se registraron al mismo tiempo.