Intégration de filigranes dans des réseaux de neurones profonds

Des progrès significatifs ont été réalisés récemment avec les réseaux de neurones profonds. Le partage de modèles entraînés de réseaux de neurones profonds a été très important dans le progrès rapide de la recherche et du développement de ces systèmes. En même temps, il est nécessaire de protéger les droits sur les modèles entraînés partagés. À cette fin, nous proposons d'utiliser la technologie de filigrane numérique pour protéger la propriété intellectuelle et détecter les violations de propriété intellectuelle dans l'utilisation des modèles entraînés. Tout d'abord, nous formulons un nouveau problème : intégrer des filigranes dans des réseaux de neurones profonds. Deuxièmement, nous proposons un cadre général pour intégrer un filigrane dans les paramètres du modèle, en utilisant un régularisateur de paramètres. Notre approche n'entrave pas la performance des réseaux dans lesquels un filigrane est placé car le filigrane est intégré pendant l'entraînement du réseau hôte. Enfin, nous réalisons des expériences approfondies pour révéler le potentiel du filigrane dans les réseaux de neurones profonds comme base de ce nouvel effort de recherche. Nous montrons que notre cadre peut intégrer un filigrane pendant l'entraînement d'un réseau de neurones profond à partir de zéro, ainsi que pendant le réglage fin et la distillation, sans altérer sa performance. Le filigrane intégré ne disparaît pas même après un réglage fin ou un élagage des paramètres ; le filigrane reste complet même après que 65 % des paramètres ont été élagués.