RESUMO Os sistemas de Recuperação de Imagens Baseada em Conteúdo (CBIR) enfrentam dificuldades com eficiência computacional, robustez à iluminação e sensibilidade ao ruído. Métodos tradicionais dependem de características feitas à mão ou arquiteturas de aprendizado profundo monolíticas, que ou não possuem adaptabilidade a diferentes domínios de imagem ou sofrem com alta complexidade computacional. Para superar essa lacuna, um sistema único de aprendizado profundo em dois níveis é apresentado nesta pesquisa para vencer essas desvantagens. Primeiramente, uma rede neural supervisionada (SNN) reduz a dimensionalidade e melhora a interpretabilidade ao converter o espaço de cores HSV em rótulos de cores semânticas 2D através de classificação a nível de pixel. Isso aborda a ineficiência no processamento de dados RGB brutos enquanto preserva a semântica de cor invariante à iluminação. Em segundo lugar, uma Rede Neural Convolucional (CNN) aumenta consideravelmente a eficiência computacional ao processar esses rótulos em vez de imagens brutas. Ao operar em representações 2D comprimidas, o sistema alcança inferências mais rápidas em comparação com pipelines CNN 3D padrão. A estrutura apresenta a Similaridade Geral de Peso Variável (VWOS), uma métrica de similaridade versátil que combina elementos semânticos (softmax) e estruturais (MaxPool3) com pesos previstos dinamicamente usando uma rede neural para otimizar automaticamente o desempenho de recuperação com base no conteúdo da imagem. Esta fusão adaptativa resolve as limitações das medidas de similaridade de peso fixo ao lidar com diferentes tipos de consulta. O sistema obteve um desempenho com pontuações de precision@10 de 0.9 a 1.0 e precisões de classificação de 0.85 a 0.98 quando testado nos conjuntos de dados PH 2, Oxford Flowers, Corel-1k, Caltech-101 e Kvasir. Notavelmente, supera as abordagens atuais feitas à mão, de aprendizado profundo e híbridas, alcançando 1.0 de precision@10 em quatro conjuntos de dados e 0.96 de precisão em imagens médicas de Kvasir. Comparações quantitativas mostram 9% a 14% de precisão a mais do que métodos feitos à mão, 3% a 35% de melhoria em relação às linhas de base de aprendizado profundo e 12% melhor do que sistemas híbridos. Esta abordagem é especialmente promissora para aplicações envolvendo recuperação multimídia e imagens médicas, onde interpretabilidade e precisão são cruciais.
Humadi et al. (Qua,) estudaram esta questão.