Transfert de Connaissances Domain-Specifiques Fédéré sur des Modèles de Langage Large Utilisant des Données Synthétiques

Alors que les modèles de langage large (LLMs) démontrent des performances et une capacité de généralisation sans précédent, les LLMs sont largement utilisés et intégrés dans diverses applications. En ce qui concerne les domaines sensibles, comme couramment décrit dans les scénarios d'apprentissage fédéré, l'utilisation directe de LLMs externes sur des données privées est strictement interdite par des réglementations strictes en matière de sécurité des données et de confidentialité. Pour les clients locaux, l'utilisation des LLMs pour améliorer les modèles de langage spécifiques au domaine (SLMs), caractérisés par des ressources informatiques limitées et des données spécifiques au domaine, a suscité une attention considérable dans la recherche. En observant que les LLMs peuvent renforcer les SLMs spécifiques au domaine, les méthodes existantes se concentrent principalement sur l'exploitation des données publiques ou des LLMs pour générer plus de données afin de transférer des connaissances des LLMs aux SLMs. Cependant, en raison des divergences entre les données générées par les LLMs et les données spécifiques au domaine des clients, ces méthodes ne peuvent pas apporter d'améliorations substantielles dans les tâches spécifiques au domaine. Dans cet article, nous introduisons un cadre de Transfert de Connaissances Fédéré Spécifique au Domaine (FDKT), qui permet le transfert de connaissances spécifiques au domaine des LLMs aux SLMs tout en préservant la confidentialité des données des clients. L'idée principale est d'utiliser les LLMs pour augmenter les données sur la base de démonstrations de quelques exemples spécifiques au domaine, qui sont synthétisées à partir de données de domaine privées en utilisant la confidentialité différentielle. De tels échantillons synthétiques partagent une distribution de données similaire à celle des données privées des clients et permettent au LLM du serveur de générer des connaissances particulières pour améliorer les SLMs des clients. Les résultats expérimentaux extensifs montrent que le cadre FDKT proposé améliore de manière cohérente et significative la performance des tâches des SLMs d'environ 5\% avec un budget de confidentialité de moins de 10, par rapport à un entraînement local sur des données privées.