Mitigación de la Supervisión Ruidosa Usando Muestras Sintéticas con Etiquetas Suaves

Las etiquetas ruidosas son omnipresentes en conjuntos de datos del mundo real, especialmente en aquellos a gran escala derivados de crowdsourcing y búsqueda en la web. Es un desafío entrenar redes neuronales profundas con conjuntos de datos ruidosos, ya que las redes tienden a sobreajustar las etiquetas ruidosas durante el entrenamiento, lo que resulta en un pobre rendimiento de generalización. Durante una fase temprana de aprendizaje, se ha observado que las redes neuronales profundas ajustan las muestras limpias antes de memorizar las muestras mal etiquetadas. En este artículo, profundizamos en las distribuciones de representación en la fase temprana de aprendizaje y descubrimos que, independientemente de sus etiquetas ruidosas, las representaciones aprendidas de imágenes de la misma categoría aún se agrupan juntas. Inspirados en ello, proponemos un marco que entrena el modelo con nuevas muestras sintéticas para mitigar el impacto de las etiquetas ruidosas. Específicamente, proponemos una estrategia de mezcla para crear las muestras sintéticas agregando muestras originales con sus vecinos más cercanos top-K, en la cual los pesos se calculan utilizando un modelo de mezcla que aprende de la distribución de pérdida por muestra. Para mejorar el rendimiento en presencia de un ruido de etiqueta extremo, estimamos los objetivos suaves corrigiendo gradualmente las etiquetas ruidosas. Además, demostramos que los objetivos suaves estimados proporcionan una aproximación más precisa a las etiquetas de verdad de base y que el método propuesto produce una calidad superior de representaciones aprendidas con clústeres más separados y claramente delimitados. Los extensos experimentos en dos benchmarks (CIFAR-10 y CIFAR-100) y dos conjuntos de datos del mundo real a gran escala (Clothing1M y Webvision) demuestran que nuestro enfoque supera a los métodos de vanguardia y la robustez de la representación aprendida.