ByteDance gab heute den technischen Fortschrittsbericht 2024 für sein großes Sprachmodell Doubao heraus und enthüllte, dass die neueste Version, Doubao-pro-1215, in Bezug auf die Gesamtleistung mit GPT-4 vollumfänglich mithalten kann und in einigen Fachbereichen sogar überlegene Fähigkeiten aufweist. Dieser Fortschritt markiert den Eintritt chinesischer Großsprachenmodelle in die globale Spitzengruppe.
Seit seiner ersten Vorstellung im Mai dieses Jahres hat Doubao in nur 7 Monaten eine Leistungssteigerung von 32 % erzielt. Laut offiziellen Angaben wurden durch die Optimierung der Verarbeitung riesiger Datenmengen und die innovative Modellarchitektur, einschließlich der Erhöhung der Modellsparsamkeit und der Einführung von Verstärkungslernen, deutliche Fortschritte in Bezug auf Genauigkeit und Qualität der Generierung erzielt. Besonders in komplexen Szenarien wie Mathematik und Fachwissen übertrifft Doubao sogar GPT-4, wobei der Preis nur ein Achtel des Letzteren beträgt.
Bemerkenswert ist, dass Doubao erstmals seine Fähigkeit zur Verarbeitung von 3 Millionen Zeichen langen Texten enthüllte. Das bedeutet, dass es gleichzeitig mit dem Datenvolumen von „über hundert“ wissenschaftlichen Berichten umgehen kann. Durch den Einsatz von STRING-Algorithmen zur Kontextdatenkorrelation sowie optimierter Sparsamkeit und verteilter Lösungen, hält Doubao die Verarbeitungszeit von Millionen von Tokens auf unter 15 Sekunden und verbessert so die Effizienz der Verarbeitung riesiger externer Wissensmengen erheblich.
Dieser technologische Durchbruch zeigt nicht nur die rasante Entwicklung der chinesischen KI-Technologie, sondern deutet auch darauf hin, dass die Verbreitung von großen Sprachmodellen durch ein besseres Preis-Leistungs-Verhältnis beschleunigt werden könnte.
