Memorización no intencionada en modelos ASR grandes, y cómo mitigarla

Es bien sabido que las redes neuronales pueden memorizar involuntariamente sus ejemplos de entrenamiento, lo que genera preocupaciones de privacidad. Sin embargo, auditar la memorización en grandes modelos de reconocimiento automático de voz (ASR) no autoregresivos ha sido un desafío debido al alto costo computacional de los métodos existentes como la calibración de dureza. En este trabajo, diseñamos un método de auditoría simple para medir la memorización en grandes modelos ASR sin el costo computacional adicional. Concretamente, aceleramos las expresiones generadas aleatoriamente para crear un mapeo entre información vocal y texto que es difícil de aprender a partir de ejemplos de entrenamiento típicos. Por lo tanto, las predicciones precisas solo para ejemplos de entrenamiento acelerados pueden servir como evidencia clara de memorización, y la precisión correspondiente puede utilizarse para medir la memorización. Usando el método propuesto, mostramos la memorización en los modelos ASR de última generación. Para mitigar la memorización, intentamos el recorte de gradientes durante el entrenamiento para limitar la influencia de cualquier ejemplo individual en el modelo final. Mostramos empíricamente que recortar el gradiente de cada ejemplo puede mitigar la memorización para ejemplos de entrenamiento acelerados con hasta 16 repeticiones en el conjunto de entrenamiento. Además, mostramos que en el entrenamiento distribuido a gran escala, recortar el gradiente promedio en cada núcleo de cómputo mantiene la calidad del modelo y el costo computacional neutros mientras proporciona una fuerte protección de privacidad.