以用户为中心的多模态接口建模与评估

历史上，计算机接口的发展一直是受技术驱动的现象。然而，新型多模态接口由基于识别的技术组成，这些技术必须解读人类的语言、手势、注视、运动模式和其他复杂的自然行为，这些行为涉及到高度自动化而并非完全在意识控制下的技能。因此，现在普遍认为多模态接口设计需要对以模态为中心的行为和集成模式进行建模，这些模式是多模态系统旨在构建的基础。本文总结了关于多模态交互的认知科学基础研究，以及以用户为中心的建模在原型设计、指导和评估下一代多模态接口设计中所发挥的重要作用。特别讨论了不同模态的特性及其承载的信息内容，多模态语言的独特特征及其可处理性，以及用户何时可能进行多模态交互以及他们的多模态输入是如何集成和同步的。本文还回顾了与多模态交互相关的典型表现和语言效率的研究，以及以用户为中心的原因为何多模态交互能减少错误并加快错误处理。此外，本文描述了选择性方法和评估指标在塑造下一代多模态系统中的重要作用，并通过强调设计新一类自适应多模态-多传感器接口的未来方向来得出结论。