Multiagent-basiertes Reinforcement Learning (MA-RL): Ein automatisierter Designer für komplexe analoge Schaltungen

Trotz der Bemühungen um die Automatisierung des Designs analoger Schaltungen erfordert das Design komplexer analoger Schaltungen derzeit noch umfangreiche manuelle Iterationen, was es arbeitsintensiv und zeitaufwendig macht. Kürzlich wurden Reinforcement-Learning (RL)-Algorithmen erfolgreich für die Optimierung des Designs analoger Schaltungen demonstriert. Allerdings wurde eine robuste und hocheffiziente RL-Methode zur Gestaltung analoger Schaltungen mit einem komplexen Entwurfsraum bisher noch nicht umfassend erforscht. In dieser Arbeit, inspiriert von der Multiagenten-Planungstheorie sowie den Designpraktiken menschlicher Experten, schlagen wir ein multiagentenbasiertes RL (MA-RL)-Framework vor, um dieses Problem anzugehen. Insbesondere (i) partitionieren wir die komplexen analogen Schaltungen in mehrere Teilblöcke basierend auf Topologieinformationen und reduzieren effektiv die Komplexität des Entwurfs-Searchraums; (ii) nutzen wir MA-RL für die Schaltungsoptimierung, wobei jeder Agent einem einzelnen Teilblock entspricht, und die Interaktionen zwischen den Agenten nach dem besten Designtrade-off zwischen den Schaltungs-Teilblöcken durch menschliche Experten nachahmen; (iii) stellen wir drei verschiedene multiagenten RL-Algorithmen und entsprechende Frameworks vor und vergleichen sie, um die Wirksamkeit der MA-RL-Methode zu demonstrieren. (iv) Einsatz von Zwillings-Delayed-Techniken und proximaler Politik, um die Trainingsstabilität weiter zu verbessern und höhere Leistungen zu erzielen. (v) Die Auswirkungen verschiedener Definitionen der Belohnungsfunktion sowie verschiedener Zustandseinstellungen von MA-RL-Agenten werden untersucht, um die Robustheit dieses Frameworks weiter zu verbessern. (vi) Experimente an drei verschiedenen komplexen analogen Schaltungstopologien (GBA, DLL und SAR ADC) und Wissensübertragungen zwischen zwei Technologieknoten werden demonstriert. Es hat sich gezeigt, dass das MA-RL-Framework die beste FoM für das Design komplexer analoger Schaltungen erreichen kann. Diese Arbeit weist den Weg für die zukünftige Automatisierung des Designs großer analoger Schaltungssysteme.