Bei komplexen Steuerungsaufgaben erfordert das Finden leistungsstarker Strategien oft das Entdecken und Ausnutzen spezifischer Verhaltensstrategien. Während Quality-Diversity (QD) Algorithmen diese Strategien durch umfassende Erkundung des Verhaltensraums aufdecken können, opfern sie die Effizienz, indem sie suboptimale Verhaltensweisen verbessern. Im Gegensatz dazu erzielen Evolution Strategies (ES) beeindruckende Leistungen durch gezielte Optimierung, geraten jedoch häufig aufgrund begrenzter Verhaltenserkundung in lokale Optima. Wir präsentieren Quality with J ust E nough Di versity (JEDi), ein neues Optimierungsframework, das dieses grundlegende Dilemma löst. JEDi verwendet eine Kombination aus Gaussian Process-Modellierung und parallelen Evolution Strategies, um den Verhaltensraum intelligent zu erkunden und gleichzeitig eine fokussierte Optimierung aufrechtzuerhalten. Im Kern lernt JEDi eine probabilistische Zuordnung zwischen Verhalten und Leistung und nutzt dieses Modell, um vielversprechende Verhaltensregionen zu identifizieren und anzusprechen, die bessere Lösungen freischalten könnten. Diese gezielte Erkundung erfolgt durch mehrere Evolution Strategy-Emitter, die gleichzeitig auf ausgewählte Verhaltensweisen optimieren und dabei die Aufgabenleistung maximieren. Um die Erkundungsfähigkeiten von JEDi weiter zu verbessern, stellen wir die dynamische Variante DyJEDi mit einem adaptiven Neustartmechanismus vor, der dynamisch die Konvergenz der Emitter erkennt und darauf reagiert, indem jeder Evolution Strategy unabhängig neu gestartet wird, wenn er sowohl im Verhaltens- als auch im Fitnessraum stagniert. Dieser dynamische Ansatz verbessert die Erkundungseffizienz und die Robustheit gegenüber lokalen Optima erheblich. Wir zeigen, dass DyJEDi sowohl traditionelle Evolution Strategies als auch Quality-Diversity-Ansätze bei anspruchsvollen kontinuierlichen Steuerungsaufgaben übertrifft und höhere Endleistungen erzielt. Besonders bemerkenswert ist, dass DyJEDi mehrere schwierige Erkundungsprobleme löst, bei denen Standard-ES-Methoden konsequent scheitern.
Templier et al. (Do,) untersuchten diese Frage.