クロスモーダル統合と認識を備えた生体模倣多感覚ニューラルネットワーク

ヒトの多感覚ニューラルネットワークにおける視覚、触覚、聴覚、嗅覚、味覚の統合と相互作用は、マルチモーダルな世界を正確に評価し包括的に理解するためのクロスモーダル統合、認識、想像などの高次認知機能を促進します。本研究では、人工の視神経、求心性神経、聴神経、ならびに模擬的な嗅覚および味覚感覚神経を統合した生体模倣多感覚ニューラルネットワークを報告します。分散配置された複数のセンサーと生体模倣階層構造により、本システムはマルチモーダル情報の感知、処理、記憶を行うだけでなく、ハードウェアおよびソフトウェアレベルで多感覚データを融合することができます。クロスモーダル学習を用いることで、本システムはマルチモーダル情報をクロスモーダルに認識・想像することが可能であり、例えば手書き入力に基づくアルファベット文字の視覚化、マルチモーダルな視覚／嗅覚／味覚情報の認識、あるいは説明を聞いた際に一度も見たことのない画像を想像することなどが可能です。本多感覚ニューラルネットワークは、ロボットのセンシングおよび知覚に向けた有望なアプローチを提供します。