Jüngste Fortschritte bei großen Sprachmodellen haben das Interesse an ihrem Potenzial für die robotergestützte Aufgabenplanung geweckt. Während diese Modelle starke generative Fähigkeiten zeigen, bleibt ihre Wirksamkeit bei der Erstellung strukturierter und ausführbarer Pläne unsicher. Dieses Papier präsentiert eine systematische Bewertung eines breiten Spektrums aktueller Sprachmodelle auf dem neuesten Stand der Technik, die jeweils direkt mit Dateien in der Planning Domain Definition Language angestoßen wurden, und vergleicht ihre Planungsleistung mit dem Fast Downward-Planer über eine Vielzahl von Benchmarks hinweg. Neben der Messung der Erfolgsquoten bewerten wir, wie treu die erstellten Pläne in Aktionssequenzen übersetzt werden können, die tatsächlich ausführbar sind, und identifizieren sowohl Stärken als auch Einschränkungen bei der Verwendung dieser Modelle in diesem Kontext. Unsere Ergebnisse zeigen, dass die Modelle zwar bei einfacheren Planungsaufgaben gut abschneiden, jedoch weiterhin mit komplexeren Szenarien kämpfen, die präzises Ressourcenmanagement, konsistentes Zustandstracking und strikte Einhaltung von Einschränkungen erfordern. Diese Ergebnisse verdeutlichen grundlegende Herausforderungen bei der Anwendung von Sprachmodellen auf die robotergestützte Planung in realen Umgebungen. Indem wir die Lücken skizzieren, die während der Ausführung entstehen, zielen wir darauf ab, zukünftige Forschungen in Richtung kombinierter Ansätze zu lenken, die Sprachmodelle mit klassischen Planern integrieren, um die Zuverlässigkeit und Skalierbarkeit der Planung in der autonomen Robotik zu erhöhen.
Goebel et al. (Thu,) haben diese Frage untersucht.