MindTuner: Decodificação Visual entre Sujeitos com Impressão Digital Visual e Correção Semântica

A decodificação de cenas visuais naturais a partir da atividade cerebral floresceu, com ampla pesquisa em tarefas de sujeito único e, no entanto, menos em tarefas entre sujeitos. Reconstruir imagens de alta qualidade em tarefas entre sujeitos é um problema desafiador devido às profundas diferenças individuais entre os sujeitos e à escassez de anotação de dados. Neste trabalho, propomos o MindTuner para decodificação visual entre sujeitos, que alcança reconstruções de alta qualidade e rica semântica usando apenas 1 hora de dados de treinamento de fMRI, aproveitando os fenômenos da impressão digital visual no sistema visual humano e um novo paradigma de alinhamento de fMRI para texto. Primeiro, pré-treinamos um modelo multi-sujeito entre 7 sujeitos e o ajustamos com dados escassos em novos sujeitos, onde LoRAs com Skip-LoRAs são utilizados para aprender a impressão digital visual. Em seguida, utilizamos a modalidade de imagem como a modalidade intermediária de pivô para alcançar o alinhamento de fMRI para texto, o que resulta em um impressionante desempenho de recuperação de fMRI para texto e corrige a reconstrução de fMRI para imagem com semântica ajustada. Os resultados das análises qualitativas e quantitativas demonstram que o MindTuner supera modelos de decodificação visual entre sujeitos de estado da arte no Natural Scenes Dataset (NSD), seja utilizando dados de treinamento de 1 hora ou 40 horas.