GPT-4V(ision) für Robotik: Multimodale Aufgabenplanung aus menschlicher Demonstration

Wir stellen eine Pipeline vor, die ein allgemeines Vision Language Model, GPT-4V(ision), verbessert, um eine einmalige visuelle Lehre für die robotergestützte Manipulation zu erleichtern. Dieses System analysiert Videos von Menschen, die Aufgaben ausführen, und gibt ausführbare Roboterprogramme aus, die Einblicke in die Affordanzen integrieren. Der Prozess beginnt damit, dass GPT-4 V die Videos analysiert, um textliche Erklärungen zu Umwelt- und Aktionsdetails zu erhalten. Planer für Aufgaben, die auf GPT-4 basieren, kodieren diese Details dann in einen symbolischen Aufgabenplan. Anschließend verankern visuelle Systeme den Aufgabenplan räumlich und zeitlich in den Videos – Objekte werden mit einem offenen Vokabular-Objekterkenner identifiziert, und Hand-Objekt-Interaktionen werden analysiert, um Momente des Greifens und Loslassens zu bestimmen. Diese spatiotemporale Verankerung ermöglicht das Sammeln von Affordanzeninformationen (z. B. Greiftypen, Wegpunkte und Körperhaltungen), die für die Ausführung durch Roboter entscheidend sind. Experimente in verschiedenen Szenarien demonstrieren die Wirksamkeit der Methode, die es echten Robotern ermöglicht, aus einmaligen menschlichen Demonstrationen zu operieren. Gleichzeitig haben quantitative Tests Fälle von Halluzinationen in GPT-4 V aufgezeigt, was die Bedeutung der Einbeziehung menschlicher Aufsicht innerhalb der Pipeline hervorhebt.