Recentemente, durante a AAAI2025, a principal conferência acadêmica global de inteligência artificial, uma equipe conjunta da Ant Group, Universidade de Zhejiang, Universidade de Liverpool e Universidade Normal do Leste da China apresentou uma estrutura inovadora de ajuste fino entre domínios (offsite-tuning) — ScaleOT. Esta estrutura consegue melhorar a proteção de privacidade em 50% sem perda de desempenho do modelo. Comparado com a técnica de destilação de conhecimento, o consumo de poder computacional é reduzido significativamente em 90%, oferecendo uma solução eficiente e leve para o ajuste fino entre domínios de modelos com bilhões de parâmetros. O artigo, devido à sua inovação, foi selecionado como artigo oral na AAAI (dos quase 13.000 artigos enviados para esta edição, apenas 4,6% foram selecionados para apresentação oral).
O ajuste fino entre domínios é atualmente a solução principal do setor para proteger os direitos de propriedade intelectual dos modelos e a privacidade dos dados. Através da compressão com perda, o grande modelo é convertido em um simulador. O detentor dos dados treina um adaptador baseado nele e o retorna ao grande modelo para otimização. Tanto os dados quanto o modelo permanecem dentro de seus respectivos domínios, protegendo a privacidade de ambas as partes. No entanto, existem limitações: primeiro, o processamento do tipo "empilhamento uniforme de blocos" pode levar à perda de camadas-chave do modelo, resultando em uma queda significativa no desempenho; segundo, o uso de técnicas de destilação para compensar a perda de desempenho tem alto custo computacional; e os métodos existentes de proteção de privacidade carecem de flexibilidade.
A equipe técnica da Ant Group explica que o ScaleOT apresenta três ideias inovadoras para equilibrar o desempenho do modelo e a segurança da privacidade. Primeiro, ele avalia a importância das camadas inteligentes do grande modelo, usando aprendizado por reforço para escanear e identificar automaticamente as camadas-chave, preservando dinamicamente as "camadas centrais" e reduzindo a perda de desempenho; segundo, ele "mascara" as camadas originais preservadas para evitar que atacantes reconstruam o modelo original, melhorando a força da proteção de privacidade com quase nenhuma perda de desempenho; terceiro, ele pode ser montado de forma flexível de acordo com diferentes cenários, permitindo a regulação da intensidade da privacidade.
Resolver os problemas de segurança de privacidade de dados e modelos é uma questão importante para a implementação de grandes modelos na indústria, especialmente no setor financeiro. Este algoritmo inovador da Ant Group já está integrado ao produto de proteção de privacidade do modelo de linguagem grande Morse, e é um dos primeiros na China a passar nos testes do ambiente de execução confiável de modelos de linguagem grandes do Instituto de Tecnologia de Informação e Comunicações (信通院).