AdCo: Contraste Adversarial para el Aprendizaje Eficiente de Representaciones No Supervisadas a partir de Adversarios Negativos Autoentrenados

El aprendizaje contrastivo se basa en construir una colección de ejemplos negativos que son suficientemente difíciles de discriminar frente a consultas positivas cuando sus representaciones son autoentrenadas. Los métodos existentes de aprendizaje contrastivo mantienen una cola de muestras negativas a lo largo de minibatches, mientras que solo una pequeña parte de ellas se actualiza en una iteración, o solo utilizan los otros ejemplos del minibatch actual como negativos. No pudieron rastrear de cerca el cambio de la representación aprendida a lo largo de las iteraciones al actualizar toda la cola como un todo, o desechar la información útil de los minibatches pasados. Alternativamente, presentamos el aprendizaje directo de un conjunto de adversarios negativos que juegan contra la representación autoentrenada. Dos jugadores, la red de representación y los adversarios negativos, se actualizan alternadamente para obtener los ejemplos negativos más desafiantes contra los cuales se entrenará la representación de las consultas positivas para discriminar. Además, mostramos que los adversarios negativos se actualizan hacia una combinación ponderada de consultas positivas maximizando la pérdida de contraste adversarial, lo que les permite seguir de cerca el cambio de representaciones a lo largo del tiempo. Los resultados de los experimentos demuestran que el modelo de Contraste Adversarial (AdCo) propuesto no solo alcanza un rendimiento superior (una precisión top-1 de 73.2% en 200 épocas y 75.7% en 800 épocas con evaluación lineal en ImageNet), sino que también puede ser preentrenado de manera más eficiente con un tiempo de GPU mucho más corto y menos épocas. El código fuente está disponible en https://github.com/maple-research-lab/AdCo.