FF3D: Un detector de frutas 3D rápido y preciso para la recolección robótica

Este estudio presenta el Detector de Frutas Rápido 3D (FF3D), un marco novedoso que contiene una red neuronal 3D para la detección de frutas y un estimador de la mejor vista siguiente basado en Gaussianas anisotrópicas. El detector 3D propuesto, que utiliza una red de detección 3D de extremo a extremo, muestra una precisión y robustez superiores en comparación con los métodos 2D tradicionales. El núcleo del FF3D es una red de detección de objetos 3D basada en una red neuronal convolucional 3D (3D CNN) seguida de un módulo de estimación de la mejor vista siguiente basado en Gaussianas anisotrópicas. La arquitectura innovadora combina la extracción de características de nubes de puntos y las tareas de detección de objetos, logrando una localización precisa de frutas en tiempo real. El modelo se entrena con un conjunto de datos 3D de frutas a gran escala y contiene datos recopilados de un huerto de manzanas. Además, el estimador de la mejor vista siguiente propuesto mejora la precisión y reduce el riesgo de colisiones para la captura. Evaluaciones exhaustivas en el conjunto de prueba y en un entorno simulado validan la eficacia de nuestro FF3D. Los resultados experimentales muestran un AP del 76.3%, un AR del 92.3% y un error promedio de distancia euclidiana de menos de 6.2 mm, destacando el potencial del marco para superar desafíos en entornos de huertos.