知覚、適応、インタラクション：混合現実における教育のためのインテリジェントな仮想エージェント

混合現実（MR）環境は、エンゲージメントとモチベーションを促進することにより教育を再構築しています。このような環境内で、インテリジェントな仮想エージェント（IVA）は、パーソナライズされたガイド、チューター、あるいは協働パートナーとして機能することができます。本研究では、学習者の環境を知覚し、その進捗に応じてガイダンスを適応させ、学習者と現実世界の双方とインタラクションできる新しい教育用IVAを示します。我々のマルチモーダルなIVAは、大規模言語モデル（LLM）による音声機能とコンピュータビジョンを統合し、動的なシーン理解を可能にすることで、学習者と自然に会話し、その進捗に基づいて適応的なサポートを提供します。我々のIVAを評価するために、Magic Leap 2ヘッドセットを使用したScratchプログラミングシナリオを実装しました。24人の大学生（男性12人、女性12人）を対象に、基本的なARキュー、ARキュー付きのチャットボット、および我々のIVAを使用して同じタスクを完了するユーザースタディを実施しました。定量データは、テクノロジー受容モデル（TAM）、ユーザーエンゲージメントスケール（UES）、およびシステムの使いやすさスケール（SUS）などの標準化された質問票を使用して取得し、定性的フィードバックも収集しました。結果は、IVAシステムは他のシステムに比べてより長い時間がかかったものの、より高いモチベーションとエンゲージメントを促進し、最高のSUSスコアを達成し、TAMとの相関が最も強いことを明らかにしました。参加者はIVAを最も価値のあるシステムと認識し、MRにおけるバーチャルチューターとしてのマルチモーダル具現エージェントの可能性を強調しました。