HRTFとヘッドフォンでの音声指向性を活用した話者-リスナー相互頭部向きの学習

バイノーラル録音を用いた話者の方向と頭の向きの推定は、スマートヘッドフォンやAR/VRヘッドセットを含む新興の「耳用」デバイスを用いた多くの実世界のアプリケーションにおいて重要な情報となる可能性があります。しかし、これは話者とリスナー双方の相互頭部向きを予測する必要があり、実際には困難です。本論文では、聞き手の耳に取り付けられたマイクロフォンによって認識される人間の音声指向性とリスナーの頭関連移動関数（HRTF）を活用して、話者とリスナーの頭の向きを共同で予測するシステムを提案します。バイノーラル音声録音を与えられた場合に、話者とリスナーの向きを二者を結ぶ直線に対して予測できる畳み込みニューラルネットワークモデルを提案します。このシステムは、左右の耳からの録音が音声指向性とHRTFにより異なる影響を受けるという核心的な観察に基づいています。また、音声は低周波と比較して高周波でより指向性が強いという事実も組み込んでいます。提案したシステムは、リスナーの頭の向きで90パーセンタイル誤差2.5°、話者の頭の向きで90パーセンタイル誤差12.5°を達成します。