Adaptação Computacional ou de Peso? Repensando o Papel da Plasticidade na Aprendizagem

Resumo O cérebro humano é um sistema de aprendizagem adaptativo que pode generalizar para novas tarefas e ambientes desconhecidos. A visão tradicional é que esse comportamento adaptativo requer uma mudança estrutural do sistema de aprendizagem (por exemplo, por meio da plasticidade neural). Neste trabalho, usamos redes neurais artificiais, especificamente modelos de linguagem de grande porte (LLMs), para desafiar a visão tradicional sobre o papel da plasticidade na aprendizagem e sugerir que tal comportamento adaptativo pode ser alcançado exclusivamente por meio da computação, se o sistema de aprendizagem estiver suficientemente treinado. Focamos em paradigmas de aprendizagem estatística. Estes requerem a identificação de regularidades subjacentes em sequências de palavras aparentemente arbitrárias e são amplamente considerados como exigindo plasticidade neural. LLMs podem capturar estruturas arbitrárias sem adaptação de peso, apesar da divergência em relação aos seus dados de treinamento em linguagem natural. Nosso trabalho fornece novos insights sobre o papel da plasticidade na aprendizagem, mostrando que sistemas de aprendizagem suficientemente treinados são altamente flexíveis, adaptando-se a novas tarefas e ambientes exclusivamente por meio da computação, muito mais do que previamente reconhecido. Além disso, nosso trabalho abre a porta para pesquisas futuras que utilizem modelos de aprendizado profundo para conjurar hipóteses sobre o cérebro.