Aprendizado de Robô Incorporado Sem Fim

Baseando-se em modelos de linguagem grandes (LLMs), robôs incorporados poderiam realizar tarefas complexas de manipulação robótica multimodal a partir de observações visuais com poderosa capacidade de generalização. No entanto, a maioria dos agentes de clonagem comportamental visual sofre de degradação de desempenho de manipulação e esquecimento de conhecimento de habilidades ao se adaptar a uma série de tarefas desafiadoras nunca vistas. Aqui, investigamos o desafio acima com o NBCagent em robôs incorporados, um agente pioneiro de Clonagem Comportamental Sem Fim condicionado pela linguagem, que pode aprender continuamente o conhecimento de observação de novas habilidades de manipulação robótica a partir de atributos específicos e compartilhados de habilidades. Especificamente, estabelecemos um planejador evolutivo específico de habilidade para realizar desacoplamento de conhecimento, que pode continuamente incorporar novo conhecimento específico de habilidade em nosso agente NBCagent a partir de espaço latente e de baixa dimensão. Enquanto isso, propomos um módulo de renderização semântica compartilhada de habilidades e um módulo de destilação de representação compartilhada de habilidades para transferir efetivamente conhecimento compartilhado de habilidades anti-esquecimento, além de enfrentar o esquecimento catastrófico de habilidades antigas a partir de aspectos semânticos e de representação. Finalmente, projetamos um banco de dados contínuo de manipulação robótica incorporada, e vários experimentos custosos demonstram o desempenho significativo de nosso método. Resultados visuais, código e conjunto de dados estão disponíveis em: https://neragent.github.io.