GeminiFusion: Fusión Multimodal Eficiente a Nivel de Píxel para Vision Transformer

Los transformadores intermodales han demostrado superioridad en varias tareas de visión al integrar efectivamente diferentes modalidades. Este artículo primero critica los métodos previos de intercambio de tokens que reemplazan los tokens menos informativos con características intermodales, y demuestra que los métodos basados en intercambio rinden por debajo de los mecanismos de atención cruzada, mientras que la demanda computacional de estos últimos inevitablemente restringe su uso con secuencias más largas. Para superar los desafíos computacionales, proponemos GeminiFusion, un enfoque de fusión a nivel de píxel que capitaliza representaciones intermodales alineadas. GeminiFusion combina elegantemente atenciones intra-modales e inter-modales, integrando dinámicamente información complementaria entre modalidades. Empleamos un ruido adaptativo por capa para controlar adaptativamente su interacción en una base por capa, logrando así un proceso de fusión armonizado. Notablemente, GeminiFusion mantiene una complejidad lineal con respecto al número de tokens de entrada, asegurando que este marco multimodal opere con una eficiencia comparable a las redes unimodales. Evaluaciones exhaustivas en tareas de traducción de imagen a imagen multimodal, detección de objetos en 3D y segmentación semántica de modalidades arbitrarias, incluyendo RGB, profundidad, LiDAR, datos de eventos, etc. demuestran el rendimiento superior de nuestro GeminiFusion frente a técnicas de última generación. El código de PyTorch está disponible en https://github.com/JiaDingCN/GeminiFusion.