Controle magnético de plasmas de tokamak por meio de aprendizado profundo por reforço

A fusão nuclear usando confinamento magnético, em particular na configuração de tokamak, é um caminho promissor em direção à energia sustentável. Um desafio central é moldar e manter um plasma de alta temperatura dentro do vaso do tokamak. Isso requer controle em malha fechada de alta dimensão e alta frequência usando bobinas de atuadores magnéticos, ainda mais complicado pelos diversos requisitos em uma ampla gama de configurações de plasma. Neste trabalho, introduzimos uma arquitetura anteriormente indescrita para o projeto de controladores magnéticos de tokamak que aprende de forma autônoma a comandar o conjunto completo de bobinas de controle. Esta arquitetura atende aos objetivos de controle especificados em um alto nível, ao mesmo tempo em que satisfaz as restrições físicas e operacionais. Esta abordagem possui flexibilidade e generalidade sem precedentes na especificação de problemas e resulta em uma redução notável no esforço de projeto necessário para produzir novas configurações de plasma. Nós produzimos e controlamos com sucesso um conjunto diverso de configurações de plasma no Tokamak à Configuração Variável, incluindo formas alongadas e convencionais, bem como configurações avançadas, como triangularidade negativa e configurações de 'floco de neve'. Nossa abordagem alcança rastreamento preciso da localização, corrente e forma para essas configurações. Também demonstramos 'gota' sustentada no TCV, onde dois plasmas separados são mantidos simultaneamente dentro do vaso. Isso representa um avanço notável para o controle por feedback de tokamak, mostrando o potencial do aprendizado por reforço para acelerar a pesquisa no domínio da fusão, e é um dos sistemas do mundo real mais desafiadores aos quais o aprendizado por reforço foi aplicado.