AHRNET: Regresor basado en atención y mapas de calor para la estimación de pose de la mano y recuperación de malla

Estimar la pose de la mano en 3D y recuperar la malla de superficie completa de la mano a partir de una sola imagen RGB es una tarea desafiante debido a autooclusiones, cambios de punto de vista y la complejidad de las articulaciones de la mano. En este artículo, proponemos un marco novedoso que combina un mecanismo de atención con regresión de mapas de calor para predecir de manera precisa y eficiente las ubicaciones de las articulaciones en 3D y reconstruir la malla de la mano. Adoptamos un módulo de atención de agrupamiento que aprende a centrarse en regiones relevantes de la imagen de entrada para extraer mejores características para manejar oclusiones, mientras reduce enormemente el costo computacional. Los mapas de calor 2D a múltiples escalas proporcionan restricciones espaciales para guiar las predicciones de vértices en 3D. Al explotar las fortalezas complementarias de la supervisión 2D escasa y la regresión de mallas densas, nuestro método reconstruye con precisión las mallas de la mano con detalles realistas. Amplios experimentos en benchmarks estándar demuestran que el método propuesto mejora de manera eficiente el rendimiento de la estimación de pose de la mano en 3D y la recuperación de mallas. Las recetas reproducibles están disponibles en https://github.com/SDiannn/AHRNET-Heatmap.