CORN: Kontaktbasierte Objektrepräsentation für nichtgreifende Manipulation von allgemein unsichtbaren Objekten

Nichtgreifende Manipulation ist entscheidend für die Manipulation von Objekten, die zu dünn, groß oder anderweitig nicht greifbar in der Natur sind. Um die Schwierigkeiten der Kontaktmodellierung in herkömmlichen modellbasierten Ansätzen zu umgehen, hat sich das Reinforcement Learning (RL) kürzlich als vielversprechende Alternative herausgestellt. Allerdings fehlt es früheren RL-Ansätzen entweder an der Fähigkeit, über vielfältige Objektformen zu generalisieren, oder sie verwenden einfache Aktionsprimitive, die die Vielfalt der Roboterbewegungen einschränken. Darüber hinaus ist die Verwendung von RL über unterschiedliche Objektgeometrien aufgrund der hohen Kosten für das Training einer Politik, die hochdimensionale sensorische Eingaben erfasst, herausfordernd. Wir schlagen eine neuartige kontaktbasierte Objektrepräsentation und ein Vortraining-Pipeline vor, um dieses Problem anzugehen. Um massenparalleles Training zu ermöglichen, nutzen wir eine leichte patchbasierte Transformer-Architektur für unseren Encoder, der Punktwolken verarbeitet, wodurch wir unser Training über Tausende von Umgebungen skalieren. Im Vergleich zum Lernen von Grund auf oder anderen Basislinien zur Formrepräsentation erleichtert unsere Repräsentation sowohl zeit- als auch dateneffizientes Lernen. Wir validieren die Wirksamkeit unseres Gesamtsystems, indem wir die trainierte Politik auf neuartige reale Objekte ohne zusätzliche Anpassung übertragen. Code und Videos sind unter https://sites.google.com/view/contact-non-prehensile verfügbar.