Regularización con Transformaciones Estocásticas y Perturbaciones para Aprendizaje Semisupervisado Profundo

Las redes neuronales convolucionales efectivas se entrenan en grandes conjuntos de datos etiquetados. Sin embargo, crear grandes conjuntos de datos etiquetados es una tarea muy costosa y que consume mucho tiempo. El aprendizaje semisupervisado utiliza datos no etiquetados para entrenar un modelo con mayor precisión cuando hay un conjunto limitado de datos etiquetados disponibles. En este trabajo, consideramos el problema del aprendizaje semisupervisado con redes neuronales convolucionales. Técnicas como la augmentación de datos aleatoria, el dropout y el max-pooling aleatorio proporcionan mejor generalización y estabilidad para los clasificadores que se entrenan utilizando descenso de gradiente. Múltiples pasadas de una muestra individual a través de la red pueden llevar a diferentes predicciones debido al comportamiento no determinista de estas técnicas. Proponemos una función de pérdida no supervisada que aprovecha la naturaleza estocástica de estos métodos y minimiza la diferencia entre las predicciones de múltiples pasadas de una muestra de entrenamiento a través de la red. Evaluamos el método propuesto en varios conjuntos de datos de referencia.