Estimativa do tamanho do fruto de maçã na árvore usando visão estereoscópica com manejo de oclusão baseado em aprendizado profundo

O tamanho do fruto de maçã (Malus domestica) desempenha um papel integral na tomada de decisões de manejo de pomares, particularmente durante o afinamento químico, avaliação da qualidade do fruto e previsão de rendimento. Um sistema de visão de máquina foi desenvolvido usando câmaras estereoscópicas sincronizadas a um estroboscópio LED de construção personalizada para realizar a medição do tamanho dos frutos na árvore em imagens com alta precisão de medição. Dois modelos de rede neural profunda (Faster R–CNN e Mask R–CNN) foram treinados para detectar candidatos a frutos para medição, seguidos pela extrapolação de regiões ocluídas dos frutos para melhorar a estimativa de tamanho. As formas segmentadas dos frutos foram convertidas em áreas de superfície métricas e diâmetros usando resoluções espaciais e informações de profundidade das câmaras estereoscópicas. Ensaios mensais de campo de junho a outubro usando o sistema de câmaras foram realizados, medindo diâmetros dos frutos variando de 22 a 82 mm, e comparados com diâmetros de verdade de campo. As estimativas de diâmetro apresentaram um erro absoluto médio variando de 1,1 a 4,2 mm durante o período de ensaio de cinco meses, com um erro médio de 4,8% em comparação com as medições de diâmetro de verdade de campo. Os erros de desvio padrão variaram de 0,7 a 1,9 mm. O uso de modelos de rede neural para amostragem inteligente dos frutos em imagens seguido pela extrapolação das regiões ausentes pode ser um método alternativo para lidar com a oclusão dos frutos em imagens agrícolas e melhorar a precisão do tamanho.