LapGym -- Ein Open-Source-Framework für Reinforcement Learning in der roboterassistierten laparoskopischen Chirurgie

Die aktuellen Fortschritte im Reinforcement Learning (RL) haben die Aussicht erhöht, kognitive Unterstützung und Automatisierung in die roboterassistierte laparoskopische Chirurgie (RALS) einzuführen. Der Fortschritt bei Algorithmen und Methoden hängt jedoch von der Verfügbarkeit standardisierter Lernumgebungen ab, die Fähigkeiten darstellen, die für RALS relevant sind. Wir präsentieren LapGym, ein Framework zum Erstellen von RL-Umgebungen für RALS, das die Herausforderungen modelliert, die chirurgische Aufgaben mit sich bringen, sowie sofaₑnv, eine vielfältige Suite von 12 Umgebungen. Motiviert durch chirurgisches Training sind diese Umgebungen in 4 Bereiche organisiert: Räumliches Denken, Manipulation von deformierbaren Objekten & Greifen, Dissektion und Fadenmanipulation. Jede Umgebung ist hoch parametrisierbar, um die Schwierigkeit zu erhöhen, was eine hohe Leistungsgrenze für neue Algorithmen zur Folge hat. Wir verwenden Proximal Policy Optimization (PPO), um eine Basislinie für modellfreie RL-Algorithmen festzulegen und den Einfluss mehrerer Umgebungsparameter auf die Aufgabenerschwernis zu untersuchen. Schließlich zeigen wir, dass viele Umgebungen und Parameterkonfigurationen gut bekannte, offene Probleme in der RL-Forschung widerspiegeln, was es den Forschern ermöglicht, diese grundlegenden Probleme im chirurgischen Kontext weiterhin zu erkunden. Unser Ziel ist es, eine herausfordernde, standardisierte Umgebungssuite für die weitere Entwicklung von RL für RALS bereitzustellen, um letztendlich das volle Potenzial der kognitiven chirurgischen Robotik zu realisieren. LapGym ist öffentlich über GitHub zugänglich (https://github.com/ScheiklP/lapgym).