Problemas de otimização multi-objetivo, que requerem a otimização simultânea de múltiplos objetivos, são prevalentes em várias aplicações. Os métodos existentes de otimização multi-objetivo frequentemente dependem de funções de agregação ajustadas manualmente para formular um objetivo de otimização conjunto. O desempenho de tais métodos ajustados manualmente depende fortemente da seleção cuidadosa de pesos, um processo demorado e trabalhoso. Essas limitações também surgem no contexto de métodos de rastreamento de movimento baseados em aprendizado por reforço para personagens fisicamente simulados, onde funções de recompensa elaboradas são tipicamente usadas para alcançar resultados de alta fidelidade. Tais soluções não apenas exigem especialização no domínio e ajuste manual significativo, mas também limitam a aplicabilidade da função de recompensa resultante em diversas habilidades. Para preencher essa lacuna, apresentamos uma nova técnica de otimização multi-objetivo adversarial que é amplamente aplicável a uma gama de tarefas de aprendizado por reforço multi-objetivo, incluindo rastreamento de movimento. Nosso Discriminador Diferencial Adversarial (ADD) recebe uma única amostra positiva, mas ainda é eficaz em guiar o processo de otimização. Demonstramos que nossa técnica pode permitir que os personagens imitem de perto uma variedade de comportamentos acrobáticos e ágeis, atingindo uma qualidade comparável aos métodos de rastreamento de movimento de ponta, sem depender de funções de recompensa projetadas manualmente. O código e os resultados estão disponíveis em https://add-moo.github.io/.
Zhang et al. (Qui,) estudaram esta questão.