Aumentando a Eficiência na Exploração Independente de Tarefas através do Conhecimento Causal

A eficácia do treinamento de modelos depende fortemente da qualidade dos recursos de treinamento disponíveis. No entanto, as restrições orçamentárias frequentemente impõem limitações nos esforços de coleta de dados. Para enfrentar esse desafio, introduzimos a exploração causal neste artigo, uma estratégia que aproveita o conhecimento causal subjacente tanto para a coleta de dados quanto para o treinamento do modelo. Focamos, em particular, em melhorar a eficiência amostral e a confiabilidade do aprendizado de modelo do mundo dentro do domínio de aprendizado por reforço independente de tarefas. Durante a fase de exploração, o agente seleciona ativamente ações que se espera gerar insights causais mais benéficos para o treinamento do modelo do mundo. Simultaneamente, o conhecimento causal é adquirido e refinado incrementalmente com a coleta contínua de dados. Demonstramos que a exploração causal auxilia no aprendizado de modelos de mundo precisos utilizando menos dados e fornecemos garantias teóricas para sua convergência. Experimentos empíricos, tanto em dados sintéticos quanto em aplicações do mundo real, validam ainda mais os benefícios da exploração causal.