Amélioration de l'apprentissage de la représentation des graphes de connaissances multimodaux grâce à l'apprentissage contrastif triple

Les graphes de connaissances multimodaux intègrent des informations multimodales plutôt que des symboles purs, ce qui améliore significativement la représentation des graphes de connaissances et leur capacité à comprendre le monde. Malgré ces avancées, les techniques actuelles de fusion multimodale rencontrent encore des défis majeurs pour représenter les modalités et intégrer pleinement les attributs divers des entités, particulièrement lorsque plusieurs modalités sont impliquées. Pour répondre à ce problème, cet article propose une méthode d'apprentissage de représentation multimodale pour les graphes de connaissances (KG-MRI). Cette méthode utilise des modèles fondamentaux pour représenter différentes modalités et intègre un modèle d'apprentissage contrastif triple ainsi qu'une stratégie d'entraînement en deux phases afin de fusionner efficacement les différentes modalités avec les embeddings du graphe de connaissances. Nous avons réalisé des comparaisons approfondies avec plusieurs méthodes différentes d'embedding de graphes de connaissances pour valider l'efficacité de notre modèle KG-MRI. Une validation supplémentaire sur une cohorte réelle de la maladie du foie gras non alcoolique (NAFLD) a démontré que les représentations vectorielles apprises via notre méthodologie possèdent des capacités de représentation améliorées, montrant un potentiel pour des applications plus larges dans des environnements multimodaux complexes.