用于驾驶员手势识别的多传感器系统

我们提出了一种用于精准且节能的汽车驾驶员动态手势识别的新型多传感器系统，该系统采用短程雷达、彩色摄像头和深度摄像头，共同使系统在多变的光照条件下保持鲁棒性。我们提出了一种联合标定雷达和深度传感器的流程。我们采用卷积深度神经网络来融合来自多个传感器的数据并对手势进行分类。我们的算法能够准确识别在白天和夜间车内及室内外采集的10种不同手势。与纯视觉系统相比，其功耗显著降低。