基于视觉感知的端到端多模态多任务自主驾驶汽车控制

卷积神经网络（CNN）已成功应用于自主驾驶任务，许多都是以端到端的方式进行的。之前的端到端转向控制方法将图像或图像序列作为输入，并直接预测转向角度。然而，仅对转向角度进行单任务学习的表现虽良好，但仅凭转向角度不足以进行车辆控制。在本研究中，我们提出了一种多任务学习框架，以端到端的方式同时预测转向角度和速度控制。由于仅使用视觉输入预测准确的速度值并不简单，我们首先提出一个网络，通过图像序列预测离散速度命令和转向角度。此外，我们提出了一个多模态多任务网络，以之前的反馈速度和视觉记录作为输入，预测速度值和转向角度。实验在公共的Udacity数据集和新收集的SAIC数据集上进行。结果表明，所提模型能够准确预测转向角度和速度值。此外，我们改进了故障数据合成方法，以解决实际道路测试中误差累积的问题。