Exploiter des représentations jointes de haute qualité provenant de données multimodales peut considérablement améliorer la performance des modèles dans diverses applications basées sur l'apprentissage machine. Les méthodes d'apprentissage multimodal récentes, basées sur le principe du goulot d'étranglement d'information multimodal (MIB), visent à générer un MIB optimal avec une information pertinente pour la tâche maximale et une information superflue minimale grâce à la régularisation. Cependant, ces méthodes fixent souvent des poids de régularisation ad hoc et négligent l'information pertinente pour la tâche déséquilibrée entre les modalités, limitant leur capacité à atteindre un MIB optimal. Pour combler cette lacune, nous proposons un nouveau cadre d'apprentissage multimodal, Goulot d'Étranglement d'Information Multimodal Optimal (OMIB), dont l'objectif d'optimisation garantit la possibilité d'atteindre un MIB optimal en fixant le poids de régularisation dans une limite théoriquement dérivée. OMIB aborde également l'information pertinente pour la tâche déséquilibrée en ajustant dynamiquement les poids de régularisation par modalité, favorisant l'inclusion de toutes les informations pertinentes pour la tâche. De plus, nous établissons une solide base théorique de l'information pour l'optimisation d'OMIB et l'implémentons sous le cadre de l'approximation variationnelle pour une efficacité computationnelle. Enfin, nous validons empiriquement les propriétés théoriques d'OMIB sur des données synthétiques et démontrons sa supériorité par rapport aux méthodes de référence de pointe dans diverses tâches en aval.
Wu et al. (Mon,) ont étudié cette question.