Chameleon: Uma Estrutura de Aprendizado Multimodal Robusta a Modalidades Ausentes

Resumo O aprendizado multimodal demonstrou melhorias de desempenho notáveis em relação a arquiteturas unimodais. No entanto, métodos de aprendizado multimodal frequentemente apresentam desempenho deteriorado se uma ou mais modalidades estiverem ausentes. Isso pode ser atribuído ao design de múltiplos ramos comumente utilizado, que contém componentes específicos de modalidades, tornando tais abordagens dependentes da disponibilidade de um conjunto completo de modalidades. Neste trabalho, propomos uma estrutura de aprendizado multimodal robusta, que adapta uma rede de aprendizado visual em espaço comum para alinhar todas as modalidades de entrada. Para possibilitar isso, apresentamos a unificação das modalidades de entrada em um formato, codificando qualquer modalidade não visual em representações visuais, tornando-a assim robusta a modalidades ausentes. Experimentos extensivos são realizados na tarefa de classificação multimodal utilizando quatro conjuntos de dados textuais-visuais (Hateful Memes, UPMC Food-101, MM-IMDb e Ferramenta) e dois conjuntos de dados áudio-visuais (avMNIST, VoxCeleb). além de alcançar desempenho superior quando todas as modalidades estão presentes no tempo de treino/teste, também demonstra notável resiliência no caso de modalidades ausentes.