Auf der kürzlich stattgefundenen AAAI2025, einer der weltweit führenden Konferenzen für Künstliche Intelligenz, präsentierte ein gemeinsames Team von Ant Group, der Zhejiang Universität, der Universität Liverpool und der East China Normal University ein innovatives Framework für das domänenübergreifende Feintuning (Offsite-Tuning) namens ScaleOT. Dieses Framework verbessert die Datenschutzauswirkungen um 50%, ohne dabei die Modellleistung zu beeinträchtigen. Im Vergleich zu Techniken des Wissensdestillation reduziert es den Rechenaufwand um beachtliche 90%. Es bietet somit eine effiziente und ressourcenschonende Lösung für das domänenübergreifende Feintuning von Modellen mit Milliarden von Parametern. Die Arbeit wurde aufgrund ihrer Innovation als Oral Presentation auf der AAAI ausgewählt (von fast 13.000 Einreichungen bei der diesjährigen Konferenz, nur 4,6% wurden als mündliche Präsentationen ausgewählt).
Domänenübergreifendes Feintuning ist derzeit die gängige Methode in der Branche zum Schutz von Modellrechten und Daten. Durch verlustbehaftete Komprimierung wird ein großes Modell in einen Simulator umgewandelt. Der Dateninhaber trainiert einen Adapter darauf und gibt ihn an das große Modell zurück, um dieses zu optimieren. Sowohl Daten als auch Modell bleiben innerhalb ihrer Domäne, wodurch die Privatsphäre beider Parteien geschützt wird. Es gibt jedoch Einschränkungen: Erstens kann die „gleichmäßige Zerlegung“ zu Verlusten wichtiger Schichten im Modell führen und die Leistung deutlich beeinträchtigen. Zweitens sind die hohen Rechenkosten zur Kompensation des Leistungsverlustes durch Destillationstechniken ein Problem. Drittens fehlt es bestehenden Methoden an Flexibilität beim Datenschutz.
Das Technikteam von Ant Group erklärt, dass ScaleOT drei innovative Ansätze verfolgt, um ein Gleichgewicht zwischen Modellleistung und Datenschutz zu erreichen. Erstens wird die Bedeutung der intelligenten Schichten des großen Modells bewertet. Durch Reinforcement Learning wird automatisch nach Schlüsselschichten gesucht und diese dynamisch beibehalten, um den Leistungsverlust zu minimieren. Zweitens werden die beibehaltenen Originalschichten „verschlüsselt“, um zu verhindern, dass Angreifer das Originalmodell rekonstruieren. Dies erhöht die Stärke des Datenschutzes bei nahezu verlustfreier Leistung. Drittens kann das System flexibel an verschiedene Szenarien angepasst werden, um eine variable Datenschutzstärke zu ermöglichen.
Die Lösung von Datenschutzproblemen bei Daten und Modellen ist eine wichtige Aufgabe für die Einführung großer Modelle in der Industrie, insbesondere im Finanzsektor. Dieser innovative Algorithmus von Ant Group ist bereits in das Datenschutzprodukt für das Morse-Großmodell integriert und gehört zu den ersten in China, die den speziellen Test für vertrauenswürdige Ausführungsumgebungen für große Modelle des China Academy of Information and Communications Technology (CAICT) bestanden haben.