ReMap

人们在使用复杂软件时经常在线寻求帮助。目前，信息搜索使用户的注意力从手头的任务中转移，产生一个独立的搜索任务。本文研究了多模态交互如何使任务内的帮助寻求变得更容易和更快。我们介绍了ReMap，这是一种多模态搜索界面，帮助用户在使用桌面和网络应用时找到视频帮助。用户可以通过语音说出搜索查询，直观地添加特定于应用的术语（例如，“如何擦除这个”），并通过语音浏览搜索结果，所有这些都无需将手（或鼠标）移开当前任务。十三名在实验室中使用ReMap的参与者发现，它帮助他们在同时搜索和使用学习视频时保持专注于任务。用户对ReMap的体验还提出了一些在系统范围内实施上下文感知的多模态辅助的重要挑战。