Wie 站长之家 berichtet, hat das Colossal-AI-Team durch Vokabularerweiterung, Datenfilterung und eine mehrstufige Trainingsstrategie in nur 15 Stunden und mit geringen Kosten (einige tausend Yuan) ein chinesisches LLaMA2-Sprachmodell mit 8,5 Milliarden Parametern trainiert.
Dieses kostengünstige Verfahren ermöglicht es dem chinesischen LLaMA2, bei mehreren chinesischen Aufgaben die Leistung vergleichbarer Modelle zu erreichen oder sogar zu übertreffen. Der gesamte Trainingsprozess, der Code und die Gewichtungen wurden Open Source veröffentlicht und können einfach auf andere Sprachen und Bereiche übertragen werden, um eine kostengünstige und schnelle Erstellung großer Sprachmodelle zu ermöglichen. Diese Methode hat bereits in verschiedenen Branchen gute Ergebnisse erzielt.
