2024年7月19日、RWKVオープンソースファウンデーションは、世界で最も強力な稠密純RNN大規模言語モデルであるRWKV-6-World14Bモデルのグローバルオープンソースを発表しました。このモデルは最新の性能テストで優れた成績を示し、英語の性能はLlama2 13Bと同等で、多言語性能では大幅にリードしており、世界100以上の言語とコードをサポートしています。
モデルのベンチマークテストには、約14Bパラメータ規模のオープンソース大規模言語モデル4種類が含まれており、12種類の独立したベンチマークテストで英語の性能を評価し、xLAMBDA、xStoryCloze、xWinograd、xCopaの4種類のベンチマークテストで多言語能力を評価しました。RWKV-6-World14Bはこれらのテストで全て優れた成績を示し、「不正できないモデル評価」Uncheatable Evalランキングでは、総合評価スコアがllama2 13BとQwen 1.5 14Bを上回りました。
RWKV-6-World14Bモデルの性能向上は、RWKV-4からRWKV-6へのアーキテクチャの改良によるものです。このモデルはトレーニング時にベンチマークテストのデータセットを一切使用しておらず、特別な最適化を行っていないため、実際の能力はランキングよりも高いと言えます。Uncheatable Eval評価では、2024年7月に新たに公開されたarXiv論文、ニュース、ao3小説、GitHubコードなどのリアルタイムデータで評価され、その真のモデリング能力と汎化能力を示しました。
現在、RWKV-6-World14BモデルはHugging Face、ModelScope、WiseModelなどのプラットフォームからダウンロードしてローカルにデプロイできます。Ai00はsafetensor（.st）形式のモデルのみをサポートしているため、Ai00HFリポジトリから.st形式に変換済みのモデルをダウンロードすることもできます。RWKV-6-World14Bモデルをローカルにデプロイして推論するためのメモリ消費量は、量子化方法によって約10GBから28GBまで異なります。
RWKV-6-World14Bモデルの効果プレビューには、自然言語処理（感情分析、機械読解）、散文詩の創作、コードの読み書き、金融論文のテーマ提案、ニュースの要約、1文のテキスト拡張、Pythonを使った貪欲蛇ゲームの作成など、複数のアプリケーションシナリオが含まれています。
注意すべき点として、オープンソースで公開されているすべてのRWKVモデルは基底モデルであり、一定の指示と対話能力を備えていますが、特定のタスクに対して最適化されていません。RWKVモデルを特定のタスクで良好に機能させるには、関連するタスクのデータセットを使用して微調整トレーニングすることをお勧めします。
プロジェクトアドレス:
Hugging Face:https://huggingface.co/BlinkDL/rwkv-6-world/tree/main
ModelScope:https://modelscope.cn/models/RWKV/rwkv-6-world/files
WiseModel:https://wisemodel.cn/models/rwkv4fun/Rwkv-6-world/file