Campo de Agarre: Aprendiendo Representaciones Implícitas para Agarre Humanos

El agarre robótico de objetos domésticos ha avanzado notablemente en los últimos años. Sin embargo, los agarres humanos aún son difíciles de sintetizar de manera realista. Hay varias razones clave: (1) la mano humana tiene muchos grados de libertad (más que los manipuladores robóticos); (2) la mano sintetizada debe conformarse a la superficie del objeto; y (3) debe interactuar con el objeto de manera semántica y físicamente plausible. Para avanzar en esta dirección, nos inspiramos en el reciente progreso en representaciones implícitas basadas en el aprendizaje para la reconstrucción de objetos en 3D. Específicamente, proponemos una representación expresiva para el modelado de agarres humanos que es eficiente y fácil de integrar con redes neuronales profundas. Nuestro enfoque es que cada punto en un espacio tridimensional puede caracterizarse por las distancias firmadas a la superficie de la mano y el objeto, respectivamente. En consecuencia, la mano, el objeto y el área de contacto pueden ser representados por superficies implícitas en un espacio común, en el cual la proximidad entre la mano y el objeto puede ser modelada explícitamente. Llamamos a este mapeo de 3D a 2D como Campo de Agarre, lo parametrizamos con una red neuronal profunda y lo aprendemos a partir de datos. Demostramos que el campo de agarre propuesto es una representación efectiva y expresiva para la generación de agarres humanos. Específicamente, nuestro modelo generativo es capaz de sintetizar agarres humanos de alta calidad, dados solo a partir de una nube de puntos de objeto 3D. Los experimentos exhaustivos demuestran que nuestro modelo generativo se compara favorablemente con una base sólida y se acerca al nivel de agarres humanos naturales. Además, basado en la representación del campo de agarre, proponemos una red profunda para la tarea desafiante de reconstrucción de interacción mano-objeto en 3D a partir de una sola imagen RGB. Nuestro método mejora la plausibilidad física de la reconstrucción del contacto mano-objeto y logra un rendimiento comparable para la reconstrucción de la mano en 3D en comparación con métodos de última generación. Nuestro modelo y código están disponibles para fines de investigación en https://github.com/korrawe/graspingfield.