Inverted Landing in a Small Aerial Robot via Deep Reinforcement Learning for Triggering and Control of Rotational Maneuvers

Das umgekehrte Landen auf schnelle und robuste Weise ist eine herausfordernde Leistung für Luftroboter, insbesondere wenn sie vollständig auf die Bordwahrnehmung und -berechnung angewiesen sind. Dennoch wird diese Leistung routinemäßig von biologischen Fliegern wie Fledermäusen, Fliegen und Bienen vollbracht. Unsere vorherige Arbeit hat eine direkte ursächliche Verbindung zwischen einer Reihe von visuellen Hinweisen an Bord und kinetischen Aktionen identifiziert, die eine zuverlässige Ausführung dieses anspruchsvollen akrobatischen Manövers in kleinen Luftrobotern ermöglichen. In dieser Arbeit haben wir Deep Reinforcement Learning und eine physikbasierte Simulation verwendet, um eine allgemeine, optimale Steuerpolitik für robustes Umkehren des Landevorgangs aus jeder beliebigen Annäherungsbedingung zu erhalten. Diese optimierte Steuerpolitik bietet eine recheneffiziente Zuordnung vom emulierten Beobachtungsraum des Systems zu seinem motorischen Befehlsaktionsraum, einschließlich sowohl der Auslösung als auch der Kontrolle von Rotationsmanövern. Dies wurde erreicht, indem das System über einen großen Bereich von Annäherungsfluggeschwindigkeiten trainiert wurde, die in Größe und Richtung variieren. Anschließend führten wir einen Sim-to-Real-Transfer und eine experimentelle Validierung der gelernten Politik durch Domänen-Randomisierung durch, indem wir die Trägheitsparameter des Roboters in der Simulation varierten. Durch experimentelle Versuche identifizierten wir mehrere dominante Faktoren, die die Land robustheit erheblich verbesserten sowie die primären Mechanismen, die den Erfolg des invertierten Landens bestimmten. Wir erwarten, dass der in dieser Studie entwickelte Reinforcement-Learning-Rahmen verallgemeinert werden kann, um herausforderndere Aufgaben zu lösen, z. B. die Nutzung von rauschbehafteten Bord-Sensordaten, das Landen auf Oberflächen verschiedener Orientierungen oder das Landen auf dynamisch bewegten Oberflächen.