我们向社区提供了HAND,这是一种简单而高效的通过人手示范来教机器人新操作任务的方法。HAND不依赖于通过远程操作收集的特定任务机器人示范,而是利用易于提供的人手示范,从无任务偏向的机器人玩耍数据中检索相关行为。通过视觉跟踪管道,HAND从手示范中提取人手运动,并分两个阶段检索机器人子轨迹:首先通过视觉相似性进行筛选,然后检索与手相似行为的轨迹。在检索数据上微调策略使得任务的实时学习在四分钟内完成,而无需校准相机或详细的手势估计。实验还表明,HAND在实际机器人上的平均任务成功率超过了检索基准的2倍。视频可以在我们的项目网站上找到:https://liralab.usc.edu/handretrieval/ .
Hong等人(周一)研究了这个问题。