ELYZA veröffentlicht 7 Milliarden Parameter großes japanisches LLM basierend auf Llama 2, das mit GPT-3.5 mithalten kann

Das japanische KI-Startup ELYZA hat ein japanisches Sprachmodell auf Basis von Metas Llama 2 veröffentlicht. Das Modell verfügt über 7 Milliarden Parameter und erreicht eine Leistung, die mit GPT-3.5 vergleichbar ist. Durch zusätzliches Pretraining und ein einzigartiges Fine-tuning erzielte es die Höchstpunktzahl in einer manuellen 5-stufigen Bewertung. ELYZA ist es gelungen, die Fähigkeiten von LLMs anderer Sprachen auf Japanisch zu übertragen und den Modell-Trainingsprozess durch Reduzierung des benötigten japanischen Trainingsdatenvolumens zu verbessern.