MARS: Multimodale Aktive Roboterwahrnehmung zur Artikulationseigenschaft

Die präzise Wahrnehmung von artikulierten Objekten ist entscheidend für die Befähigung von Servicerobotern. Jüngste Studien konzentrieren sich hauptsächlich auf Punktwolken, einen einmodalen Ansatz, der oft wichtige Textur- und Beleuchtungsdetails vernachlässigt und ideale Bedingungen wie optimale Blickwinkel annimmt, die in realen Szenarien nicht repräsentativ sind. Um diese Einschränkungen anzugehen, stellen wir MARS vor, ein neuartiges Framework zur Charakterisierung artikulierter Objekte. Es verfügt über ein Modul zur multimodalen Fusion, das mehrskalige RGB-Merkmale nutzt, um Punktwolkenmerkmale zu verbessern, gekoppelt mit aktivem Sensing auf Basis von Reinforcement Learning zur autonomen Optimierung der Beobachtungsblickwinkel. In Experimenten mit verschiedenen Instanzen artikulierter Objekte aus dem PartNet-Mobility-Datensatz übertraf unsere Methode die derzeit besten Methoden in Bezug auf die Genauigkeit der Schätzung von gemeinsamen Parametern. Darüber hinaus reduziert MARS durch aktives Sensing weitere Fehler und zeigt eine verbesserte Effizienz im Umgang mit suboptimalen Blickwinkeln. Außerdem generalisiert unsere Methode effektiv auf reale artikulierte Objekte und verbessert die Interaktionen von Robotern. Der Code ist verfügbar unter https://github.com/robhlzeng/MARS.