Uso de um Agente de Aprendizado por Reforço Profundo para Controle de Semáforos

Garantir que os sistemas de transporte sejam eficientes é uma prioridade para a sociedade moderna. Avanços tecnológicos tornaram possível que os sistemas de transporte coletassem grandes volumes de dados variados em uma escala sem precedentes. Propomos um sistema de controle de semáforos que aproveita esses novos dados de alta qualidade, com mínima abstração em comparação com outros sistemas propostos. Aplicamos métodos modernos de aprendizado por reforço profundo para construir um agente de controle de semáforos verdadeiramente adaptativo no microsimulador de tráfego SUMO. Propomos um novo espaço de estados, a codificação do estado de tráfego discreto, que é densa em informação. A codificação do estado de tráfego discreto é usada como entrada para uma rede neural convolucional profunda, treinada usando Q-learning com replay de experiência. Nosso agente foi comparado a um agente de controle de semáforos com uma rede neural de uma camada oculta e reduz o atraso cumulativo médio em 82%, o comprimento médio da fila em 66% e o tempo médio de viagem em 20%.