Die Shenzhen Yuanxiang Information Technology Co., Ltd. gab kürzlich die erfolgreiche Veröffentlichung von XVERSE-MoE-A36B bekannt, dem größten Open-Source-Mixture-of-Experts (MoE)-Sprachmodell Chinas. Die Veröffentlichung dieses Modells markiert einen bedeutenden Fortschritt im chinesischen KI-Bereich und hebt die einheimische Open-Source-Technologie auf ein international führendes Niveau.
XVERSE-MoE-A36B verfügt über 255 Milliarden Parameter und 36 Milliarden aktivierte Parameter. Seine Leistung ist mit der von Modellen mit über 100 Milliarden Parametern vergleichbar und stellt einen enormen Leistungssprung dar. Die Trainingszeit wurde um 30 % reduziert, die Inferenzleistung um 100 % gesteigert, und die Kosten pro Token wurden deutlich gesenkt, was eine kostengünstige Bereitstellung von KI-Anwendungen ermöglicht.
Die „Hochleistungs-Komplettlösung“-Modellreihe von Yuanxiang XVERSE ist vollständig Open Source und steht der kommerziellen Nutzung uneingeschränkt und kostenlos zur Verfügung. Dies bietet vielen kleinen und mittelständischen Unternehmen, Forschern und Entwicklern mehr Auswahlmöglichkeiten. Die MoE-Architektur kombiniert mehrere Expertenmodelle aus verschiedenen Fachgebieten und umgeht so die Grenzen des traditionellen Skalierungsgesetzes. Sie maximiert die Modellleistung bei gleichzeitiger Skalierung und senkt die Rechenkosten für Training und Inferenz.
In mehreren renommierten Tests übertraf das MoE-Modell von Yuanxiang deutlich mehrere vergleichbare Modelle, darunter das chinesische Terabyte-MoE-Modell Skywork-MoE, den traditionellen MoE-Marktführer Mixtral-8x22B und das 314 Milliarden Parameter umfassende Open-Source-MoE-Modell Grok-1-A86B.
Kostenloser Download des Sprachmodells
Hugging Face:https://huggingface.co/xverse/XVERSE-MoE-A36B
魔搭 (Moda):https://modelscope.cn/models/xverse/XVERSE-MoE-A36B
Github:https://github.com/xverse-ai/XVERSE-MoE-A36B
Anfrage:opensource@xverse.cn
Website:chat.xverse.cn