Planejamento Reforçado por Entropia com Modelos de Linguagem Grande para Descoberta de Fármacos

O objetivo da descoberta de fármacos é identificar compostos químicos que possuam propriedades farmacêuticas específicas em relação a um alvo de ligação. Modelos de linguagem grande (LLMs) existentes podem alcançar altas pontuações de correspondência de tokens em termos de probabilidade para a geração de moléculas. No entanto, confiar exclusivamente na decodificação de LLM muitas vezes resulta na geração de moléculas que são inválidas devido a um único token mal utilizado, ou subotimizadas devido à exploração e exploração desequilibradas como consequência da experiência anterior dos LLMs. Aqui propomos o ERP, Planejamento Reforçado por Entropia para Decodificação Transformer, que emprega um algoritmo de planejamento reforçado por entropia para aprimorar o processo de decodificação do Transformer e equilibrar exploração e exploração. O ERP tem como objetivo alcançar melhorias em múltiplas propriedades em comparação com a amostragem direta do Transformer. Avaliamos o ERP em benchmarks do vírus SARS-CoV-2 (3CLPro) e da proteína alvo de células cancerosas humanas (RTCB) e demonstramos que, em ambos os benchmarks, o ERP supera consistentemente o algoritmo atual de ponta em 1-5 por cento, e as linhas de base em 5-10 por cento, respectivamente. Além disso, tal melhoria é robusta em modelos Transformer treinados com diferentes objetivos. Finalmente, para ilustrar ainda mais as capacidades do ERP, testamos nosso algoritmo em três benchmarks de geração de código e também superamos a abordagem atual de ponta. Nosso código está disponível publicamente em: https://github.com/xuefeng-cs/ERP.