Aprendizaje de Relaciones Multi-Tarea Distribuido

El aprendizaje multi-tarea tiene como objetivo aprender múltiples tareas conjuntamente aprovechando su relación para mejorar el rendimiento de generalización de cada tarea. Tradicionalmente, para realizar aprendizaje multi-tarea, es necesario centralizar los datos de todas las tareas en una sola máquina. Sin embargo, en muchas aplicaciones del mundo real, los datos de diferentes tareas pueden estar geo-distribuidos en diferentes máquinas locales. Debido a la fuerte comunicación causada por la transmisión de datos y al problema de privacidad y seguridad de los datos, es imposible enviar los datos de diferentes tareas a una máquina principal para realizar el aprendizaje multi-tarea. Por lo tanto, en este documento, proponemos un marco de aprendizaje multi-tarea distribuido que aprende simultáneamente modelos predictivos para cada tarea, así como relaciones entre tareas de manera alternada en el paradigma del servidor de parámetros. En nuestro marco, primero ofrecemos una forma dual general para una familia de métodos de aprendizaje de relaciones multi-tarea regularizados. Posteriormente, proponemos un algoritmo de optimización distribuida primal-dual eficiente en comunicación para resolver el problema dual al diseñar cuidadosamente subproblemas locales para que el problema dual sea descomponible. Además, proporcionamos un análisis teórico de convergencia para el algoritmo propuesto, que es específico para el aprendizaje de relaciones multi-tarea distribuido. Realizamos experimentos extensivos en conjuntos de datos sintéticos y del mundo real para evaluar nuestro marco propuesto en términos de efectividad y convergencia.