高度なマルチモーダルモデルを用いた動的バーチャルアクティビティの構築

本論文では、大規模マルチモーダルモデル（LMMs）を用いてバーチャルアクティビティを生成する方法を探究し、視覚と言語のモダリティを統合してバーチャル環境の解釈を可能にします。このアプローチは、シーンのレイアウト、意味的文脈、オブジェクトのアイデンティティを認識するだけでなく、LMMsがシーンの要素を抽象化できるようにします。これらの抽象化を人間の活動に関する膨大な知識と関連づけることにより、LMMsは適応的で文脈に関連するバーチャルアクティビティを生成することができます。私たちは、バーチャル環境内でのキャラクターの相互作用を明確に delineate することに重点を置きながら、抽象的な活動の説明を表現するための構造化されたフレームワークを提案します。導出された高レベルの文脈を利用して、私たちの方法論はバーチャルキャラクターを適切に配置し、戦略的最適化を通じて彼らの相互作用や行動が現実的かつ文脈的に一致することを保証します。私たちの発見の含意は重要であり、シミュレーション環境においてバーチャルアクティビティのリアリズムと文脈適切性を高める新たな道筋を提供します。