通过自动手势识别方法学习意大利手势文化

意大利手势构成了一种独特且广泛认可的非语言交流形式，深植于日常互动和文化身份中。尽管它们非常显著，这些手势却很少被正式化或系统教授，这给寻求理解其意义和实用性的外国说话者和访客带来了挑战。此外，它们短暂且具身的特性使传统的保存和传递方法变得复杂，将其置于更广泛的非物质文化遗产领域。本文介绍了一种基于机器学习的框架，用于识别标志性的意大利手势，旨在支持外国说话者和访客的文化学习和互动。这种方法结合了RGB-D传感器与增强深度的几何特征提取，采用了在专门构建的数据集上训练的可解释分类模型。识别系统集成在一个非沉浸式虚拟现实应用中，模拟了为公共到达空间设计的互动数字图腾，提供教材内容、实时手势识别和即时反馈，以便在一个有趣且易于接近的学习环境中进行学习。评估了三种监督机器学习管道，其中随机森林算法表现最佳。其与隔离森林模块相结合的部署方案进一步考虑，在5折交叉验证协议下实现了宏平均准确度和F1分数为0.82。进行了一个包含25名参与者的实验用户研究，以评估所提出的互动系统在可用性、用户参与度和学习有效性方面的表现，获得了良好的结果，展示了其作为文化教育和跨文化交流实用工具的潜力。