Caiyun Technology veranstaltete kürzlich in Peking eine Kommunikationsveranstaltung zum Thema „From Paper to App“ und stellte offiziell das auf der DCFormer-Architektur basierende universelle große Sprachmodell „Yun Jin Tian Zhang“ vor. Gleichzeitig wurde das Upgrade der hauseigenen AI-RPG-Plattform Caiyun Xiaomeng auf die auf DCFormer basierende Version 3.5 angekündigt. Dies markiert einen bedeutenden Durchbruch in der Effizienz der Modellarchitektur im Bereich der künstlichen Intelligenz.
Im Bereich der KI bildet die Transformer-Architektur die zentrale technologische Grundlage für führende große Sprachmodelle wie ChatGPT und Gemini. Caiyun Technology veröffentlichte in diesem Jahr auf der internationalen Top-Konferenz ICML die Arbeit „Improving Transformers with Dynamically Composable Multi-Head Attention“, in der die DCFormer-Architektur erstmalig vorgestellt wurde. Tests zeigen, dass das auf dieser Architektur basierende DCPythia-6.9B-Modell eine Leistungssteigerung um das 1,7- bis 2-fache im Vergleich zu traditionellen Transformer-Modellen erzielt.
Zum Thema der Energieherausforderungen für die KI-Entwicklung wies Caiyun Technology CEO Yuan Xingyuan darauf hin, dass der prognostizierte globale Energieverbrauch für KI bis 2050 das Achtfache der derzeitigen globalen Stromerzeugungskapazität betragen könnte. Nvidia CEO Jensen Huang beschrieb dies noch anschaulicher: Bei derzeitiger Entwicklung würden zukünftig „14 Planeten, 3 Galaxien und 4 Sonnen“ benötigt, um die KI mit Energie zu versorgen.
Caiyun Technology begegnet dieser Herausforderung durch die Verbesserung der zugrundeliegenden Modellarchitektur. DCFormer hebt die feste Bindung der Attention Heads im traditionellen Multi-Head-Attention-Modul (MHA) auf, indem es einen dynamisch kombinierbaren Multi-Head-Attention-Mechanismus (DCMHA) einführt. Dies ermöglicht eine flexiblere, dynamische Kombination und steigert somit die Ausdrucksfähigkeit des Modells erheblich. Diese Innovation brachte Caiyun Technology drei Veröffentlichungen auf der ICML-Konferenz mit einer durchschnittlichen Punktzahl von 7 ein und zählt zu den lediglich zwei chinesischen Unternehmen, die zu einem Vortrag auf der ICML 2024 in Wien eingeladen wurden.
Als erstes Produkt, das auf der DCFormer-Architektur basiert, zeigt die neue Version von Caiyun Xiaomeng eine herausragende Leistung: Sie unterstützt Texteingaben von bis zu 10.000 Zeichen, die Länge der Hintergrundgeschichte kann ebenfalls 10.000 Zeichen erreichen, und die Gesamtflüssigkeit und Kohärenz wurde um 20 % verbessert. Dies bedeutet, dass die KI die Handlungskohärenz besser aufrechterhalten, die Konsistenz der Charaktere bewahren und über die Fähigkeit zur Handlungsreflexion und -korrektur verfügt.
Caiyun Technology, eines der ersten Unternehmen in China, das sich mit großen Sprachmodellen beschäftigt, verfügt derzeit über drei profitabel arbeitende KI-Produkte: Caiyun Weather, Caiyun Xiaomeng und Caiyun Xiaoyi. Das Unternehmen gab bekannt, die Forschungs- und Entwicklungsinvestitionen in DCFormer weiter zu erhöhen, um das traditionelle Modell „ausländische Technologieebene, chinesische Anwendungsebene“ zu durchbrechen und die Positionierung der chinesischen KI-Technologie im globalen Wettbewerb zu stärken.
Durch diesen technologischen Durchbruch demonstriert Caiyun Technology nicht nur die Stärke chinesischer Unternehmen bei Innovationen in der KI-Grundlagenarchitektur, sondern bietet auch neue Ansätze zur Lösung des Energieproblems in der KI-Entwicklung und könnte die nachhaltige Entwicklung der KI-Technologie beschleunigen.