No campo da condução autônoma, os modelos de percepção baseados em câmeras são, principalmente, treinados com dados de clima claro. Modelos projetados para lidar com condições climáticas específicas muitas vezes carecem de generalização para ambientes em mudança dinâmica e focam principalmente na remoção do clima em vez de uma percepção robusta. Este artigo propõe uma rede habilitada semanticamente para detecção de objetos sob diversas condições climáticas. A informação semântica permite que o modelo gere conteúdo plausível em regiões ausentes e delineie com precisão os contornos dos objetos. Também preserva a coerência visual e o realismo em áreas de imagem restauradas e originais, facilitando a transformação da imagem e o reconhecimento de objetos. Especificamente, nossa arquitetura consiste em uma Unidade de Pré-processamento (PPU) e uma Unidade de Detecção (DTU), onde a PPU utiliza uma rede em forma de U enriquecida com semântica para refinar imagens degradadas, e a DTU integra esta informação semântica para a detecção de objetos utilizando uma rede YOLO modificada. Experimentos extensivos demonstram que o método proposto alcança melhorias de mAP variando de 1,49% a 8,78% em comparação com abordagens existentes em múltiplos conjuntos de dados de referência sob diversas condições climáticas. Esses resultados demonstram a eficácia da orientação semântica na melhoria da imagem e detecção de objetos, oferecendo uma estrutura abrangente para aprimorar o desempenho da detecção. O código fonte será disponibilizado publicamente.
Zuo et al. (Sex,) estudaram esta questão.