Aprendizaje semi-supervisado distribuido a gran escala utilizando aproximación en streaming

Los enfoques tradicionales de aprendizaje semi-supervisado (SSL) basados en grafos, aunque ampliamente aplicados, no son adecuados para datos masivos y escenarios con muchas etiquetas, ya que escalan linealmente con el número de aristas |E| y etiquetas distintas m. Para abordar el problema del gran tamaño de etiquetas, trabajos recientes proponen métodos basados en bosquejo para aproximar la distribución de etiquetas por nodo, logrando así una reducción de espacio de O(m) a O(m) bajo ciertas condiciones. En este artículo, presentamos una nueva aproximación de SSL basada en grafos en streaming que captura la escasez de la distribución de etiquetas y asegura que el algoritmo propague las etiquetas con precisión, además de reducir la complejidad espacial por nodo a O(1). También proporcionamos una versión distribuida del algoritmo que escala bien a tamaños de datos grandes. Los experimentos en conjuntos de datos del mundo real demuestran que el nuevo método logra un mejor rendimiento que los algoritmos existentes de última generación con una reducción significativa en el uso de memoria. También estudiamos diferentes mecanismos de construcción de grafos para aplicaciones de lenguaje natural y proponemos una estrategia robusta de aumento de grafos entrenada utilizando arquitecturas de aprendizaje profundo no supervisadas de última generación que generan mejoras significativas en la calidad.