Combinando visión de los dedos y percepción táctil óptica: Reduciendo y manejando errores al cortar verduras

Desarrollamos una piel de sensor multimodal óptico para los dedos de un agarre robótico. Este sensor consiste en una piel transparente hecha con una capa externa elástica suave marcada sobre una capa dura, y cámaras RGB internas. Las cámaras pueden ver la escena externa a través de la piel. Este sensor proporciona un campo de fuerza de contacto estimado al rastrear marcadores en la piel, y información visual de objetos cercanos o sujetos. Este sensor utiliza materiales comerciales, es fácil de fabricar y es robusto ante una fuerza externa, ya que la fuerza no se aplica a los dispositivos de detección (cámaras). Instalamos un prototipo de este sensor en los dedos de un robot Baxter y demostramos su utilidad con una tarea de corte de verduras. El sensor nos proporcionó información de fuerza para controlar el corte de verduras y evitar el deslizamiento del cuchillo. Video acompañante: https://youtu.be/ifOwQdy9gDg.