PeanutNeRF: Campo de Radiância 3D para Amendoins

A análise fenotípica precisa pode ajudar os melhoradores de plantas a identificar e analisar de forma eficiente os traços de plantas adequados para aumentar a produtividade das culturas. Embora imagens 2D de câmeras RGB sejam facilmente acessíveis, seu desempenho na estimativa de traços é limitado devido a oclusão e à ausência de informações de profundidade. Por outro lado, dados 3D de sensores LiDAR são ruidosos e limitados em sua capacidade de capturar partes muito finas de plantas, como os pinos das plantas de amendoim. Para combinar os méritos da análise de dados 2D e 3D, as imagens 2D foram usadas para capturar partes finas em plantas de amendoim, e a reconstrução 3D baseada em aprendizado profundo usando imagens 2D capturadas foi realizada para obter nuvens de pontos 3D com informações sobre a cena de diferentes ângulos. Os campos de radiância neural foram otimizados para representação 3D implícita das plantas. Os campos de radiância treinados foram consultados para a reconstrução 3D para alcançar nuvens de pontos para uma vista de 360 graus e uma vista frontal da planta. Com a reconstrução da vista frontal e as correspondentes imagens 2D, usamos o Frustum PVCNN para realizar a detecção 3D de vagens de amendoim. Demonstramos a eficácia do PeanutNeRF em plantas de amendoim com e sem folhagem: mostrou ruído negligenciável e uma distância de chamfer de menos de 4 × 10 −4 em relação a uma versão limpa manualmente. A detecção de vagens mostrou uma precisão de cerca de 0,7 no limite de IoU de 0,5 no conjunto de validação. Este método pode auxiliar em estudos fenotípicos precisos de plantas de amendoim e outras culturas importantes.