Interpretação Mecânica de Transformers: Extraindo Valores Máximos de Listas

A interpretabilidade de modelos de inteligência artificial, particularmente modelos de aprendizado de máquina e aprendizado profundo, é uma área crucial de pesquisa para garantir a implantação segura e confiável de sistemas de IA. Este projeto explora a interpretabilidade mecânica de modelos transformer treinando um pequeno transformer para realizar uma tarefa sintética e algorítmica: encontrar o valor máximo em listas de comprimento variável. Inspirado no trabalho de Neel Nanda sobre interpretabilidade mecânica, este estudo tem como objetivo reverter a engenharia do modelo transformer treinado para entender seu funcionamento interno. O projeto envolve a construção de um transformer do zero, treinando-o na tarefa de extração de máximos, e analisando os padrões de atenção e os processos de tomada de decisão do modelo. Os resultados fornecem insights sobre como os transformers resolvem problemas algorítmicos, destacando as diferenças na abordagem entre os modelos e o raciocínio humano. Esta pesquisa contribui para o objetivo mais amplo de aumentar a transparência e a interpretabilidade dos modelos de IA, particularmente na compreensão de seu comportamento em tarefas simples, mas fundamentais.