Passando de Saliência RGB para Saliência RGBD: Um Modelo de Transformação Guiado por Profundidade

A informação de profundidade tem se mostrado útil para a detecção de saliência. No entanto, os métodos existentes para a detecção de saliência RGBD se concentram principalmente em projetar modelos simples e abrangentes, ignorando a capacidade de transferência dos modelos existentes de detecção de saliência RGB. Neste artigo, propomos um novo modelo de transformação guiado por profundidade (DTM) que vai da saliência RGB para a saliência RGBD. O modelo proposto inclui três componentes, a saber: 1) inicialização de saliência RGBD em múltiplos níveis; 2) refinamento de saliência guiado por profundidade; e 3) otimização de saliência com restrições de profundidade. O recurso explícito de profundidade é primeiro utilizado no modelo de saliência RGBD em múltiplos níveis para inicializar a saliência RGBD combinando a indicação de saliência de compactação global e a indicação de saliência geodésica local. O refinamento de saliência guiado por profundidade é usado para destacar ainda mais os objetos salientes e suprimir as regiões de fundo, introduzindo o conhecimento prévio do domínio de profundidade e a forma de profundidade refinada prévia. Beneficiando-se da consistência de todo o objeto no mapa de profundidade, formulamos um modelo de otimização para alcançar resultados de saliência mais consistentes e precisos por meio de uma função de energia que integra o termo de dados unários, o termo de suavização de cor e o termo de consistência de profundidade. Experimentos em três benchmarks públicos de detecção de saliência RGBD demonstram a eficácia e a melhora de desempenho do DTM proposto de RGB para saliência RGBD.