効果的な人間とコンピュータの相互作用のための深層学習アプローチ：単一およびマルチモーダル感情検出に関する包括的調査

感情はコミュニケーションにおいて重要な役割を果たします。その複雑さから、感情認識の研究は困難であり、人々は言語、声、顔の表情など、さまざまなモダリティを通じて感情を伝えます。これらの手掛かりはしばしば相互に補完し合います。本研究では、視覚、聴覚、さらにはテキスト情報からの感情の認識を探求します。提案されたシステムは、 audio、video、またはtextのいずれかのデータタイプのみが利用可能な場合でも、特徴を予測しカテゴリカルな感情を認識する柔軟性を提供します。これを実現するために、システムはEfficient-Net、LSTM、Wav2Vecといった事前学習済みモデルを活用します。モデルのパフォーマンス評価に関する研究には、精度や適合率などのメトリックが含まれ、予測能力に関する包括的な視点を提供します。