Bilibili (B站) hat die Open-Source-Veröffentlichung des Index-1.9B-Modells bekannt gegeben, ein leichtgewichtiges KI-Sprachmodell, das große Aufmerksamkeit erregt hat. Das Index-1.9B-Modell umfasst mehrere Versionen, darunter ein Basismodell, eine Kontrollgruppe und ein Dialogmodell.
1.9B beinhaltet:
Index-1.9B base: Das Basismodell mit 1,9 Milliarden nicht-eingebetteten Parametern, vortrainiert auf 2,8 TB hauptsächlich chinesischen und englischen Daten. Es erzielt in mehreren Benchmark-Tests führende Ergebnisse im Vergleich zu Modellen ähnlicher Größe.
Index-1.9B pure: Die Kontrollgruppe zum Basismodell. Es hat die gleichen Parameter und die gleiche Trainingsstrategie wie das Basismodell. Der Unterschied besteht darin, dass alle instruktionsbezogenen Daten aus dem Datensatz streng gefiltert wurden, um den Einfluss von Instruktionsdaten auf die Benchmarks zu überprüfen.
Index-1.9B chat: Ein Dialogmodell, basierend auf Index-1.9B base, welches durch SFT und DPO abgestimmt wurde. Durch die Einbeziehung vieler Daten aus Internet-Communities im Pretraining ist die Unterhaltung deutlich interessanter.
Index-1.9B character: Basierend auf SFT und DPO wurde RAG implementiert, um Few-Shot-Rollenspiel-Anpassungen zu ermöglichen.
Zugang zum Index-1.9B Produkt:https://top.aibase.com/tool/index-1-9b