Estimativa de Profundidade Térmica Usando Recursos Multi-escala Unificados e Refinamento Baseado em Propagação

A estimativa de profundidade térmica monocular pode fornecer previsões de profundidade mais robustas do que métodos baseados em RGB em condições noturnas e de clima adverso. No entanto, quando treinados com supervisão de LiDAR projetada, os modelos de profundidade geralmente retêm erros estruturais em regiões do céu, áreas de longo alcance e fronteiras de objetos, pois as medições de LiDAR são escassas ou inexistentes nessas regiões. Para abordar essa limitação, propomos uma estrutura de estimativa de profundidade térmica monocular que incorpora refinamento baseado em propagação. Para tornar esse refinamento aplicável em diferentes modelos base, além disso, projetamos um adaptador de recursos multi-escala que converte recursos multi-escala heterogêneos com diferentes resoluções espaciais e dimensões de canal em uma representação unificada. Como resultado, a mesma arquitetura de refinamento pode ser usada em diferentes modelos base sem necessidade de redesenho específico do refinador. No conjunto de dados estéreo multispectral (MS2), o método proposto melhora tanto o BTS (grande-para-pequeno) quanto os NeWCRFs (CRFs totalmente conectados por janela neural), reduzindo as métricas de erro baseadas em metros SqRel de 0.380 para 0.369 e RMSE de 3.163 para 3.126 para BTS, e reduzindo SqRel de 0.331 para 0.328 e RMSE de 2.937 para 2.924 para NeWCRFs. Resultados qualitativos mostram ainda que o método proposto alivia artefatos de profundidade mista e padrões anormais de profundidade em regiões que carecem de supervisão confiável da profundidade.