COSTA: Estatísticas de Co-Ocorrência para Classificação Zero-Shot

Neste artigo, buscamos a classificação zero-shot, ou seja, reconhecimento visual de uma classe não vista usando transferência de conhecimento a partir de classes conhecidas. Nossa principal contribuição é o COSTA, que explora co-ocorrências de conceitos visuais em imagens para transferência de conhecimento. Essas interdependências surgem naturalmente entre conceitos e são fáceis de obter a partir de anotações existentes ou contagens de acessos em buscas na web. Estimamos um classificador para um novo rótulo, como uma combinação ponderada de classes relacionadas, utilizando as co-ocorrências para definir o peso. Propomos várias métricas para aproveitar essas co-ocorrências e um modelo de regressão para aprender um peso para cada classe relacionada. Também mostramos que nossos classificadores zero-shot podem servir como priors para aprendizado few-shot. Experimentos em três conjuntos de dados multi-rotulados revelam que nossos métodos zero-shot propostos estão se aproximando e, ocasionalmente, superando SVMs totalmente supervisionados. Concluímos que as estatísticas de co-ocorrência são suficientes para classificação zero-shot.