電子健康記録や医療画像のようなマルチモーダルデータを使用した多疾患診断は、重要な臨床作業である。既存の深層学習手法はこの領域で初期成功を収めているが、実世界での適用においては依然として大きなギャップが残っている。このギャップは、モダリティの欠損、ノイズ、時間的非同期性、および異なる疾患のためのモダリティ間の証拠の一貫性を見落としがちであることによって生じる。これらの制限を克服するために、我々はHGDC-Fuseを提案する。この新しいフレームワークは、非同期で不完全なマルチモーダルデータを強固に統合するために、患者中心のマルチモーダル異種グラフを構築する。また、疾患相関に基づいて疾患特異的なモダリティ重みを学習することでモダリティの不一致問題を解決する疾患相関誘導アテンション層を特徴とする多ソース情報を集約する異種グラフ学習モジュールを設計する。大規模なMIMIC-IVおよびMIMIC-CXRデータセットにおいて、HGDC-Fuseは最先端の手法を大幅に上回る。
Jiang et al. (Fri,)はこの問題を研究した。