摘要 在工业中，运输任务越来越多地由移动机器人系统（如自动导引车（AGV））处理。这些系统与人类的部署意味着需要处理位置不精确或未知的载货工具。在这项工作中，我们应用我们之前提出的方法来控制基于单个RGB摄像头和深度强化学习（DRL）代理的叉车AGV。该代理利用以边界框数据形式压缩的视觉信息执行最终接近和精确对准。在此，摄像头的有限视野导致部分可观察环境状态，这是基于视觉的车辆的典型问题。为了解决这个问题，我们提出了一个方向估计模块，该模块使用长短期记忆（LSTM）网络跟踪与环境的先前交互。我们设计的提议模块为代理提供了额外的输入，使系统组件能够独立训练和验证。通过这一扩展，我们的DRL代理在与不具方向估计模块的DRL基线相比时，横向均值绝对误差减少了高达78%。应用领域随机化（DR）调查不准确的边界框检测的影响时，如果结合不准确的检测器，则方向估计模块的重要性更高。我们还应用了两种不同的方法来加快我们的训练过程。首先，使用特权代理生成专家演示，以训练DRL代理和LSTM网络。其次，我们通过投影紧密拟合的3D边界框来加速边界框数据的生成。该方法将观察生成所需的时间减少了超过89%。
Hadwiger等（星期三）研究了这个问题。