網膜IPA：多モダリティ網膜画像のための反復的なキーポイント整列

我々は、マルチモダリティ網膜画像間のマッチングと登録を強化するために、クロスモダリティ特徴を学習するように設計された網膜特徴点整列のための新しいフレームワークを提案します。我々のモデルは、従来の学習に基づく特徴検出と記述手法の成功を基にしています。ラベルのないデータをより効果的に活用し、モデルが関連するキーポイントを再現するように制約を与えるために、キーポイントベースのセグメンテーションタスクを統合しています。同じ画像の異なる拡張の間でセグメンテーションの一貫性を促進することによって、それは自己監視方式で訓練されます。キーポイント拡張型自己監視層を組み込むことにより、モダリティ間での堅牢な特徴抽出を達成します。2つの公開データセットと1つの社内データセットに対する広範な評価は、モダリティに依存しない網膜特徴整列の性能において重要な改善を示しています。我々のコードとモデルの重みは、https://github.com/MedICL-VU/RetinaIPAで公開されています。