Im Kontext der globalen generativen KI-Welle 2022 erhielt YuanShi Intelligence (RWKV) im Dezember 2023 eine mehrstellige Millionen-RMB-Finanzierung in einer Seed-Finanzierungsrunde, die von Tianji Capital investiert wurde. Nach dieser Finanzierungsrunde verdoppelte sich die Unternehmensbewertung. Die Mittel werden für den Teamaufbau, die Entwicklung neuer Architekturen und die Kommerzialisierung von Produkten verwendet.
RWKV stellt eine starke Herausforderung für die traditionelle Transformer-Architektur dar. Mit der Entwicklung großer Sprachmodelle (LLMs) wächst zwar die Parameterzahl der Modelle stetig, aber die Schwächen in Bezug auf Halluzinationen und Genauigkeit bleiben bestehen. Daher entschied sich das Gründungsteam von RWKV, eine völlig neue Architektur zu erforschen, um höhere Effizienz und Flexibilität zu erreichen.
Das Designkonzept von RWKV unterscheidet sich deutlich von dem von Transformer. Mitbegründerin Luo Xuan erklärt, dass traditionelle Transformer-Modelle bei der Generierung eines Tokens den vorherigen Text erneut „lesen“ müssen, während RWKV den Zustand jedes Tokens nicht speichern muss, wodurch der Rechenaufwand deutlich reduziert wird. Durch die Kombination der Vorteile von RNN (recurrent neural networks) erreicht RWKV einen Durchbruch in Bezug auf Effizienz und Sprachmodellierung.
Der Vorteil dieser innovativen Architektur liegt darin, dass RWKV Informationen in einem begrenzten Zustandsraum verarbeiten kann. Durch verstärkendes Lernen kann das Modell automatisch erkennen, wann es auf vorherige Texte zurückgreifen muss, wodurch seine Gedächtnisleistung verbessert wird. Im Vergleich zu traditionellen Modellen schneidet RWKV in mehreren Benchmark-Tests besser ab und beweist damit seine verbesserte Effizienz beim Spracherlernen.
Derzeit hat RWKV Modelle von 0,1B bis 14B Parametern trainiert und in der internationalen Community eine Vorschau auf ein 32B-Modell veröffentlicht. Zukünftig plant YuanShi Intelligence, 2025 ein RWKV-7-Modell mit 70B und mehr Parametern auf den Markt zu bringen und neue Inferenz-Frameworks und Chips zu erforschen, um die Modellleistung weiter zu verbessern.
Im geschäftlichen Bereich bietet RWKV nicht nur Open-Source-Projekte an, sondern treibt auch aktiv die Kommerzialisierung voran, die die KI-Musikgenerierung und die Zusammenarbeit mit Unternehmen umfasst. Es wurden bereits Partnerschaften mit Unternehmen wie dem staatlichen Stromnetz geschlossen. Mit der Weiterentwicklung der Technologie und dem Fortschritt der Kommerzialisierung strebt RWKV danach, ein „Android und Linux“ im Bereich der großen Sprachmodelle zu werden.