Colorización como una tarea sustituta para la comprensión visual

Investigamos y mejoramos la auto-supervisión como un reemplazo alternativo para el preentrenamiento en ImageNet, enfocándonos en la colorización automática como la tarea sustituta. Se ha demostrado que el entrenamiento auto-supervisado es más prometedor para la utilización de datos no etiquetados que otros métodos tradicionales de aprendizaje no supervisado. Nos basamos en este éxito y evaluamos la capacidad de nuestra red auto-supervisada en varios contextos. En tareas de segmentación y clasificación de VOC, presentamos resultados que son de vanguardia entre los métodos que no utilizan etiquetas de ImageNet para preentrenar representaciones. Además, presentamos el primer análisis en profundidad de la auto-supervisión a través de la colorización, concluyendo que la formulación de la pérdida, los detalles del entrenamiento y la arquitectura de la red juegan roles importantes en su efectividad. Esta investigación se expande aún más al revisar el paradigma de preentrenamiento en ImageNet, planteando preguntas como: ¿Cuánto dato de entrenamiento se necesita? ¿Cuántas etiquetas son necesarias? ¿Cuánto cambian las características cuando se afinan? Relacionamos estas preguntas con la auto-supervisión al mostrar que la colorización proporciona una señal de supervisión igualmente poderosa que diversas variantes del preentrenamiento en ImageNet.