Récemment, lors de la conférence académique de premier plan sur l'intelligence artificielle AAAI2025, une équipe conjointe d'Ant Group, de l'Université de Zhejiang, de l'Université de Liverpool et de l'Université normale de Chine de l'Est a présenté un cadre innovant d'ajustement croisé de domaine (ScaleOT). Ce cadre permet d'améliorer l'efficacité de la protection de la vie privée de 50 % sans perte de performance du modèle. Comparé à la technique de distillation de connaissances, la consommation de puissance de calcul est réduite de 90 %, offrant une solution efficace et légère pour l'ajustement croisé de domaine des modèles à des milliards de paramètres. L'article, en raison de son caractère innovant, a été sélectionné comme présentation orale à l'AAAI (sur près de 13 000 soumissions à la conférence, le taux de présentations orales est de seulement 4,6 %).
L'ajustement croisé de domaine est actuellement la solution dominante dans l'industrie pour protéger les droits de propriété intellectuelle des modèles et la confidentialité des données. En utilisant une compression avec perte, le grand modèle est transformé en simulateur. Le détenteur des données entraîne un adaptateur et le renvoie au grand modèle pour l'optimisation. Ni les données ni le modèle ne quittent le domaine, protégeant ainsi la confidentialité des deux parties. Cependant, cette approche présente des limites : premièrement, le traitement de type « assemblage uniforme de blocs » peut entraîner la perte de couches clés du modèle, ce qui entraîne une baisse significative des performances ; deuxièmement, l'utilisation de techniques de distillation pour compenser la perte de performance entraîne un coût de calcul élevé ; et enfin, les méthodes existantes manquent de flexibilité en matière de protection de la vie privée.
L'équipe technique d'Ant Group explique que ScaleOT propose trois idées innovantes pour équilibrer les performances du modèle et la sécurité de la vie privée. Premièrement, il évalue l'importance des couches intelligentes du grand modèle en utilisant l'apprentissage par renforcement pour identifier automatiquement les couches clés et préserver dynamiquement les « couches centrales » afin de réduire la perte de performance. Deuxièmement, il « masque » les couches d'origine conservées pour empêcher les attaquants de restaurer le modèle d'origine, améliorant ainsi la protection de la vie privée sans pratiquement aucune perte de performance. Troisièmement, il permet un assemblage flexible en fonction des différents scénarios, permettant d'ajuster le niveau de confidentialité.
La résolution des problèmes de confidentialité des données et des modèles est un enjeu majeur pour le déploiement des grands modèles dans le secteur industriel, notamment dans le secteur financier. Cet algorithme innovant d'Ant Group a été intégré à son produit de protection de la vie privée pour les grands modèles, MoS, et est l'un des premiers produits en Chine à avoir réussi les tests du programme de tests d'environnement d'exécution fiable pour les grands modèles de l'Institut des technologies de communication (信通院).