DocFormer: Transformer de Ponta a Ponta para Compreensão de Documentos

Apresentamos o DocFormer - uma arquitetura de transformer multimodal baseada na tarefa de Compreensão Visual de Documentos (CVD). A CVD é um problema desafiador que visa entender documentos em seus variados formatos (formulários, recibos etc.) e layouts. Além disso, o DocFormer é pré-treinado de forma não supervisionada utilizando tarefas cuidadosamente projetadas que incentivam a interação multimodal. O DocFormer utiliza recursos de texto, visão e espaço, combinando-os por meio de uma nova camada de atenção própria multimodal. O DocFormer também compartilha embeddings espaciais aprendidos entre modalidades, o que facilita para o modelo correlacionar texto com tokens visuais e vice-versa. O DocFormer é avaliado em 4 conjuntos de dados diferentes, cada um com bases fortes. O DocFormer alcança resultados de ponta em todos eles, às vezes superando modelos 4x maiores (em número de parâmetros).