Segmentação Semântica Adaptativa de Domínio com Estimação de Profundidade Autossupervisionada

A adaptação de domínio para segmentação semântica visa melhorar o desempenho do modelo na presença de uma mudança de distribuição entre o domínio fonte e o domínio alvo. Aproveitar a supervisão de tarefas auxiliares (como a estimação de profundidade) tem o potencial de corrigir essa mudança porque muitas tarefas visuais estão intimamente relacionadas umas às outras. No entanto, essa supervisão nem sempre está disponível. Neste trabalho, aproveitamos a orientação da estimação de profundidade autossupervisionada, que está disponível em ambos os domínios, para reduzir a diferença entre os domínios. Por um lado, propomos aprender explicitamente a correlação das características da tarefa para fortalecer as previsões semânticas do alvo com a ajuda da estimação de profundidade do alvo. Por outro lado, usamos a discrepância da previsão de profundidade entre os decodificadores de profundidade fonte e alvo para aproximar a dificuldade de adaptação em nível de pixel. A dificuldade de adaptação, inferida da profundidade, é então usada para refinar os pseudo-rótulos de segmentação semântica do alvo. O método proposto pode ser facilmente implementado em estruturas de segmentação existentes. Demonstramos a eficácia da nossa abordagem nas tarefas de benchmark SYNTHIA-para-Cityscapes e GTA-para-Cityscapes, nas quais alcançamos o novo desempenho de estado da arte de 55,0% e 56,6%, respectivamente. Nosso código está disponível em https://qin.ee/corda.