H2O-Danube-1,8B ist ein Sprachmodell mit 1,8 Milliarden Parametern, das auf 1 TB markierten Daten trainiert wurde und den Kernprinzipien von LLaMA 2 und Mistral folgt. Obwohl unser Modell mit einer deutlich geringeren Gesamtmenge an Tokens trainiert wurde als vergleichbare Referenzmodelle, zeigt es in mehreren Benchmarks äußerst wettbewerbsfähige Ergebnisse. Zusätzlich veröffentlichen wir ein Chat-Modell, das durch überwachtes Feintuning und direkte Präferenzoptimierung trainiert wurde. Wir veröffentlichen H2O-Danube-1,8B unter der Apache 2.0 Lizenz als Open Source, um die Demokratisierung großer Sprachmodelle voranzutreiben und einem breiteren Publikum einen kostengünstigen Zugang zu ermöglichen.