Com um Pouco de Ajuda dos Meus Amigos: Aprendizado Contrastivo de Representações Visuais com Vizinhos Mais Próximos

Algoritmos de aprendizado auto-supervisionado baseados em discriminação de instâncias treinam codificadores para serem invariantes a transformações pré-definidas da mesma instância. Embora a maioria dos métodos trate diferentes visualizações da mesma imagem como positivas para uma perda contrastiva, estamos interessados em usar positivas de outras instâncias no conjunto de dados. Nosso método, Aprendizado Contrastivo de Representações Visuais com Vizinhos Mais Próximos (NNCLR), amostra os vizinhos mais próximos do conjunto de dados no espaço latente e os trata como positivos. Isso oferece mais variações semânticas do que as transformações pré-definidas. Descobrimos que usar o vizinho mais próximo como positivo em perdas contrastivas melhora significativamente o desempenho na classificação do ImageNet usando ResNet-50 sob o protocolo de avaliação linear, de 71,7% para 75,6%, superando métodos anteriores de última geração. Em benchmarks de aprendizado semi-supervisionado, melhoramos o desempenho significativamente quando apenas 1% das etiquetas do ImageNet estão disponíveis, de 53,8% para 56,5%. Em benchmarks de aprendizado por transferência, nosso método supera métodos de última geração (incluindo aprendizado supervisionado com ImageNet) em 8 dos 12 conjuntos de dados subsequentes. Além disso, demonstramos empiricamente que nosso método depende menos de ampliações de dados complexas. Observamos uma redução relativa de apenas 2,1% na precisão Top-1 do ImageNet quando treinamos usando apenas crops aleatórios.