GeminiFusion: Fusão Multimodal Eficiente Pixel-a-Pixel para o Transformer de Visão

Transformadores cross-modal demonstraram superioridade em várias tarefas de visão ao integrar efetivamente diferentes modalidades. Este artigo critica primeiro métodos anteriores de troca de tokens que substituem tokens menos informativos por características intermodais e demonstra que métodos baseados em trocas têm desempenho inferior aos mecanismos de atenção cruzada, enquanto a demanda computacional destes últimos inevitavelmente restringe seu uso com sequências mais longas. Para superar os desafios computacionais, propomos o GeminiFusion, uma abordagem de fusão pixel-a-pixel que capitaliza representações cross-modais alinhadas. O GeminiFusion combina elegantemente atenções intra-modais e intermodais, integrando dinamicamente informações complementares entre modalidades. Nós empregamos um ruído adaptativo por camada para controlar adaptativamente suas interações camada por camada, alcançando assim um processo de fusão harmonizado. Notavelmente, o GeminiFusion mantém complexidade linear em relação ao número de tokens de entrada, garantindo que este framework multimodal opere com eficiência comparável a redes unimodais. Avaliações abrangentes em tarefas de tradução de imagem para imagem multimodal, detecção de objetos em 3D e segmentação semântica de modalidade arbitrária, incluindo RGB, profundidade, LiDAR, dados de eventos, etc., demonstram o desempenho superior do nosso GeminiFusion em comparação com técnicas de ponta. O código PyTorch está disponível em https://github.com/JiaDingCN/GeminiFusion.