Recientemente, durante la conferencia académica de IA de primer nivel mundial AAAI2025, un equipo conjunto de Ant Group, la Universidad de Zhejiang, la Universidad de Liverpool y la Universidad Normal del Este de China presentó un innovador marco de ajuste cruzado de dominios (ScaleOT). Este marco puede mejorar la efectividad de la protección de la privacidad en un 50% sin pérdida de rendimiento del modelo. En comparación con la técnica de destilación del conocimiento, el consumo de potencia de cálculo se reduce significativamente en un 90%, proporcionando una solución eficiente y ligera para el ajuste cruzado de dominios de modelos con parámetros de miles de millones. El artículo, por su innovación, fue seleccionado como artículo oral de AAAI (de las casi 13.000 contribuciones a la conferencia, solo el 4.6% fueron presentaciones orales).
El ajuste cruzado de dominios es actualmente la solución principal en la industria para proteger los derechos de propiedad intelectual de los modelos y la privacidad de los datos. Mediante la compresión con pérdida, se convierte un modelo grande en un simulador. El titular de los datos entrena un adaptador basado en él y lo devuelve al modelo grande para su ajuste. Ni los datos ni el modelo salen del dominio, protegiendo la privacidad de ambas partes. Sin embargo, existen limitaciones: en primer lugar, el procesamiento tipo "ensamblaje uniforme de bloques" puede provocar la pérdida de capas clave del modelo, lo que reduce significativamente el rendimiento; en segundo lugar, el uso de técnicas de destilación para compensar la pérdida de rendimiento tiene un alto coste computacional; y, finalmente, la protección de la privacidad de los métodos existentes carece de flexibilidad.
El equipo técnico de Ant Group explica que ScaleOT propone tres ideas innovadoras para equilibrar el rendimiento del modelo y la seguridad de la privacidad. En primer lugar, evalúa la importancia de las capas inteligentes del modelo grande, utilizando el aprendizaje por refuerzo para escanear y reconocer automáticamente las capas clave, conservando dinámicamente las "capas centrales" para reducir la pérdida de rendimiento; en segundo lugar, "cifra" las capas originales conservadas para evitar que los atacantes recuperen el modelo original, mejorando la intensidad de la protección de la privacidad sin apenas pérdida de rendimiento; y, en tercer lugar, permite un ensamblaje flexible según diferentes escenarios, logrando una privacidad ajustable.
Resolver los problemas de seguridad de la privacidad de los datos y los modelos es un tema importante para la implementación de modelos grandes en la industria, especialmente en el sector financiero. Este algoritmo innovador de Ant Group ya se ha integrado en su producto de protección de privacidad de modelos grandes, Morse, y es uno de los primeros productos en China en pasar las pruebas especiales del entorno de ejecución confiable de modelos grandes del Instituto de Tecnología de las Comunicaciones de China.