Audit de la provenance des données dans les modèles de génération de texte

Pour aider à appliquer les réglementations sur la protection des données telles que le RGPD et à détecter les utilisations non autorisées de données personnelles, nous développons une nouvelle technique d'audit de modèles qui aide les utilisateurs à vérifier si leurs données ont été utilisées pour entraîner un modèle d'apprentissage automatique. Nous nous concentrons sur l'audit des modèles d'apprentissage profond qui génèrent un texte en langue naturelle, y compris la prédiction de mots et la génération de dialogues. Ces modèles sont au cœur des services en ligne populaires et sont souvent entraînés sur des données personnelles telles que les messages, les recherches, les discussions et les commentaires des utilisateurs. Nous concevons et évaluons une méthode d'audit en black-box qui peut détecter, avec très peu de requêtes à un modèle, si les textes d'un utilisateur particulier ont été utilisés pour l'entraîner (parmi des milliers d'autres utilisateurs). Nous montrons empiriquement que notre méthode peut auditer avec succès des modèles bien généralisés qui ne sont pas surajustés aux données d'entraînement. Nous analysons également comment les modèles de génération de texte mémorisent des séquences de mots et expliquons pourquoi cette mémorisation les rend susceptibles à l'audit.