Autoencoders de desruido marginalizados para adaptación de dominio

Los autoencoders de desruido apilados (SDA) han sido utilizados con éxito para aprender nuevas representaciones para la adaptación de dominio. Recientemente, han alcanzado una precisión récord en tareas estándar de análisis de sentimientos a través de diferentes dominios de texto. Los SDA aprenden representaciones de datos robustas mediante la reconstrucción, recuperando características originales de datos que están artificialmente corruptos con ruido. En este documento, proponemos SDA marginalizado (mSDA) que aborda dos limitaciones cruciales de los SDA: alto costo computacional y falta de escalabilidad a características de alta dimensión. A diferencia de los SDA, nuestro enfoque de mSDA marginaliza el ruido y, por lo tanto, no requiere descenso de gradiente estocástico u otros algoritmos de optimización para aprender los parámetros; de hecho, se calculan en forma cerrada. En consecuencia, mSDA, que puede implementarse en solo 20 líneas de MATLAB^TM, acelera significativamente los SDA en dos órdenes de magnitud. Además, las representaciones aprendidas por mSDA son tan efectivas como las SDA tradicionales, alcanzando precisiones casi idénticas en tareas de referencia.