生存分析のためのクロスモーダル翻訳と整合

高スループットシーケンシング技術の急速な進展に伴い、生存分析の焦点は臨床指標の検討から病理画像とのゲノムプロファイルの統合にシフトしています。しかし、既存の方法は、生存予測のために病理的特徴とゲノムプロファイルの直接的な融合を採用するか、病理画像の特徴を統合するための指針としてゲノムプロファイルを使用します。前者は内在的なクロスモーダル相関を見逃す可能性があります。後者は遺伝子発現に無関係な病理情報を無視します。これらの問題に対処するために、私たちは内在的なクロスモーダル相関を探求し、潜在的な補完情報を転送するためのクロスモーダル翻訳と整合（CMTA）フレームワークを提案します。具体的には、マルチモーダルデータのために二つの並列エンコーダ・デコーダ構造を構築し、モーダル内情報を統合し、クロスモーダル表現を生成します。生成されたクロスモーダル表現を使用してモーダル内表現を強化し再校正することで、包括的な生存分析のための識別力が大幅に向上します。内在的なクロスモーダル相関を探求するために、異なるモダリティ間の情報ブリッジとして機能し、クロスモーダル相互作用を行い補完情報を転送するクロスモーダルアテンションモジュールをさらに設計します。私たちの5つの公的TCGAデータセットに関する広範な実験は、提案したフレームワークが最先端の手法を上回ることを示しています。ソースコードは公開されています†。