Modélisation et évaluation centrées sur l'utilisateur des interfaces multimodales

Historiquement, le développement des interfaces informatiques a été un phénomène guidé par la technologie. Cependant, les nouvelles interfaces multimodales sont composées de technologies basées sur la reconnaissance qui doivent interpréter la parole humaine, les gestes, le regard, les patterns de mouvement et d'autres comportements naturels complexes, impliquant des compétences hautement automatisées qui ne sont pas sous un contrôle conscient total. En conséquence, il est maintenant largement reconnu que la conception d'interfaces multimodales nécessite une modélisation du comportement centré sur la modalité et des schémas d'intégration sur lesquels les systèmes multimodaux visent à se construire. Cet article résume des recherches sur les fondements en sciences cognitives de l'interaction multimodale, et sur le rôle essentiel que la modélisation centrée sur l'utilisateur a joué dans le prototypage, la direction et l'évaluation de la conception des interfaces multimodales de nouvelle génération. En particulier, il discute des propriétés de différentes modalités et du contenu d'information qu'elles transportent, des caractéristiques uniques du langage multimodal et de sa processabilité, ainsi que des moments où les utilisateurs sont susceptibles d'interagir de manière multimodale et comment leur entrée multimodale est intégrée et synchronisée. Il examine également les recherches sur la performance typique et les efficacités linguistiques associées à l'interaction multimodale, et sur les raisons centrées sur l'utilisateur pour lesquelles l'interaction multimodale minimise les erreurs et facilite le traitement des erreurs. De plus, cet article décrit le rôle important que des méthodologies sélectives et des métriques d'évaluation ont joué dans la conception des systèmes multimodaux de nouvelle génération, et il conclut en soulignant les directions futures pour concevoir une nouvelle classe d'interfaces multimodales-multisenseurs adaptatives.