Modelo de Control de Semáforos Adaptativo en Intersecciones Basado en Aprendizaje Profundo por Refuerzo

Controlar los semáforos para aliviar la creciente presión del tráfico es un concepto que ha recibido atención pública durante mucho tiempo. Sin embargo, los sistemas y metodologías existentes para controlar los semáforos son insuficientes para abordar el problema. Con este fin, construimos un modelo de control de semáforos realmente adaptativo en un microsimulador de tráfico, es decir, "Simulación de la Movilidad Urbana" (SUMO), utilizando la tecnología del moderno aprendizaje profundo por refuerzo. El modelo se propone basado en un algoritmo de red Q profunda que representa precisamente los elementos asociados con el problema: agentes, entornos y acciones. El estado del tráfico en tiempo real, incluyendo el número de vehículos y la velocidad promedio, en una o más intersecciones se utiliza como entrada para el modelo. Para reducir el tiempo de espera promedio, los agentes proporcionan una fase y duración óptimas del semáforo que deben implementarse tanto en casos de intersección única como en casos de múltiples intersecciones. La cooperación entre agentes permite que el modelo logre una mejora en el rendimiento general en una gran red vial. Al probar con conjuntos de datos relacionados con tres diferentes condiciones de tráfico, demostramos que el modelo propuesto es mejor que otros métodos (por ejemplo, el método de aprendizaje Q, el método de la cola más larga primero, y el método de control de tiempo fijo de Webster) para todos los casos. El modelo propuesto reduce tanto el tiempo de espera promedio como el tiempo de viaje, y se vuelve más ventajoso a medida que el entorno de tráfico se vuelve más complejo.