高齢化が進む中、認知症ケアの需要が増加しています。我々は、モバイルフォン、マイクロコントローラーノード、スマートテレビで動作する音声駆動のモニタリングパイプラインを提案します。このシステムは、音声信号処理とAIツールを組み合わせて構造的解釈を提供します。前処理には、音声活動検出、話者の時間割り当て、自動音声認識（対話用）、および音声感情認識が含まれます。オーディオ分類器は、在宅ケアに関係するイベント（咳、杖のタップ、音の響き、ノック、スピーチ）を検出します。大規模言語モデルは、文字起こし、音響特徴、同意された家庭知識ベースを統合して、方向感覚の有無（人、場所、時間）、妄想テーマ、興奮イベント、健康代理、及び安全フラグ（例：出口を求める、転倒）のカバーする日報を作成します。このパイプラインは、家庭や施設での継続的なモニタリングを目的とし、診断デバイスではなくケアの補助を提供します。評価は、ヒューマンインザループレビュー、さまざまな音声/スピーチモダリティ、AIの情報統合と推論能力に重点を置いています。想定されるユーザーは、対面でのケアが提供できない遠隔世帯の低所得家庭であり、認知症の高齢者に対する遠隔モニタリングサポートを可能にします。
イリアス・ポタミティス（Mon）がこの課題を研究しました。