Touch100k: Ein groß angelegtes Touch-Language-Vision-Dataset für touchzentrierte multimodale Repräsentation

Berührung spielt eine zentrale Rolle bei der Verbesserung der Wahrnehmungs- und Interaktionsfähigkeiten von Menschen und Robotern. Trotz ihrer Bedeutung konzentriert sich die aktuelle taktile Forschung hauptsächlich auf visuelle und taktile Modalitäten und übersieht das Sprachgebiet. Inspiriert davon konstruieren wir Touch100k, ein gepaartes Touch-Language-Vision-Dataset im Umfang von 100k mit taktilen Beschreibungen in mehreren Granularitäten (d.h. Satzebene natürliche Ausdrücke mit reicher Semantik, einschließlich kontextueller und dynamischer Beziehungen, sowie phrasenebene Beschreibungen, die die Schlüsselfeatures taktiler Empfindungen erfassen). Basierend auf dem Dataset schlagen wir eine Pre-Training-Methode vor, das Touch-Language-Vision Representation Learning durch Curriculum Linking (kurz TLV-Link), inspiriert vom Konzept des Curriculum-Lernens. TLV-Link zielt darauf ab, eine taktile Repräsentation für den GelSight-Sensor zu erlernen und die Beziehung zwischen taktilen, sprachlichen und visuellen Modalitäten zu erfassen. Wir bewerten die Leistung unserer Repräsentation über zwei Aufgaben Kategorien (nämlich Identifizierung von Materialeigenschaften und Robotergriffvorhersage) mit Fokus auf taktiler Repräsentation und Zero-Shot-Touch-Verständnis. Die experimentelle Bewertung zeigt die Effektivität unserer Repräsentation. Durch die Ermöglichung von TLV-Link, erhebliche Verbesserungen zu erzielen und einen neuen Stand der Technik im touchzentrierten multimodalen Repräsentationslernen zu etablieren, zeigt Touch100k seinen Wert als wertvolle Ressource für die Forschung. Projektseite: https://cocacola-lab.github.io/Touch100k/.