Aprendizado auto-supervisionado multimodal complementar via mascaramento não sobreposto para previsão de propriedades

Resumo O aprendizado auto-supervisionado desempenha um papel importante no aprendizado de representação molecular porque os dados moleculares rotulados geralmente são limitados em muitas tarefas, como previsão de propriedades químicas e triagem virtual. No entanto, a maioria dos métodos existentes de pré-treinamento molecular se concentra em uma modalidade de dados moleculares, e a informação complementar de duas modalidades importantes, SMILES e gráfico, não é totalmente explorada. Neste estudo, propomos uma estrutura eficaz de aprendizado auto-supervisionado multimodal para SMILES moleculares e gráficos. Especificamente, os dados SMILES e os dados gráficos são primeiro tokenizados para que possam ser processados por uma rede backbone unificada baseada em Transformer, que é treinada por uma estratégia de reconstrução mascarada. Além disso, introduzimos uma estratégia de mascaramento não sobreposto especializada para incentivar a interação detalhada entre essas duas modalidades. Resultados experimentais mostram que nossa estrutura alcança desempenho de última geração em uma série de tarefas de previsão de propriedades moleculares, e um estudo de ablação detalhado demonstra a eficácia da estrutura multimodal e da estratégia de mascaramento.