Richtung robuste Mensch-Roboter-Kollaboration in der Fertigung: Multimodale Fusion

Intuitive und robuste multimodale Robotersteuerung ist der Schlüssel zur Mensch-Roboter-Kollaboration (HRC) in Fertigungssystemen. Multimodale Robotersteuerungsmethoden wurden in früheren Studien eingeführt. Die Methoden ermöglichen es menschlichen Bedienern, Roboter intuitiv ohne das Programmieren von markenspezifischem Code zu steuern. Viele der multimodalen Robotersteuerungsmethoden sind jedoch unzuverlässig, da die Merkmalsdarstellungen nicht über mehrere Modalitäten hinweg geteilt werden. Um dieses Problem anzugehen, wird in diesem Papier eine auf tiefem Lernen basierende multimodale Fusionsarchitektur für robuste multimodale HRC-Fertigungssysteme vorgeschlagen. Die vorgeschlagene Architektur besteht aus drei Modalitäten: Sprachbefehlen, Handbewegungen und Körperbewegungen. Zunächst werden drei unimodale Modelle trainiert, um Merkmale zu extrahieren, die dann zur Merkmalsdarstellung fusioniert werden. Experimente zeigen, dass das vorgeschlagene multimodale Fusionsmodell die drei unimodalen Modelle übertrifft. Dieses Papier weist auf ein großes Potenzial hin, die vorgeschlagene multimodale Fusionsarchitektur auf robuste HRC-Fertigungssysteme anzuwenden.