Repräsentationen für robuste Mensch-Roboter-Interaktionen lernen

Um robust und flexibel mit Menschen interagieren zu können, müssen Roboter Fähigkeiten erwerben, die sie in verschiedenen Szenarien nutzen können. Eine Möglichkeit, die Generalisierung von Fähigkeiten zu ermöglichen, besteht darin, Repräsentationen zu lernen, die für nachgelagerte Aufgaben nützlich sind. Das Lernen einer Repräsentation für Interaktionen erfordert ein Verständnis davon, was (z. B. Objekte) sowie wie (z. B. Aktionen, Kontrollen und Verhaltensweisen) interagiert werden soll. Die meisten bestehenden sprachlichen oder visuellen Repräsentationen konzentrieren sich jedoch hauptsächlich auf Objekte. Um robuste Mensch-Roboter-Interaktionen zu ermöglichen, benötigen wir eine Repräsentation, die nicht nur auf der Objektebene verankert ist, sondern die auch auf der Handlungsebene argumentieren kann. Die Fähigkeit, über die eigenen Handlungen eines Agenten sowie über die Handlungen anderer Personen nachzudenken, wird entscheidend für langfristige Interaktionen sein. Meine Forschung konzentriert sich darauf, die kompositionale Natur der Sprache und von Belohnungsfunktionen zu nutzen, um Repräsentationen zu lernen, die auf neuartige Szenarien generalisieren. Zusammen mit den Informationen aus mehreren Modalitäten kann die gelernte Repräsentation über den Fortschritt der Aufgabe, zukünftige Verhaltensweisen und die Ziele/Überzeugungen eines Agenten nachdenken. Die oben genannten Ideen wurden in meiner Forschung über den Aufbau von Robotern, die Sprache verstehen und an sozialen Interaktionen teilnehmen können, demonstriert.