RWKV-LM

Public

RWKV（发音为RwaKuv）是一个具有出色大语言模型性能的循环神经网络（RNN），它也可以像GPT Transformer一样直接训练（可并行化）。我们现在处于RWKV-7 "鹅"阶段。因此，它结合了RNN和Transformer的优点——性能卓越、线性时间复杂度、常数空间复杂度（无键值缓存）、快速训练、无限上下文长度以及免费的句子嵌入。

attention-mechanism chatgpt deep-learning gpt gpt-2 gpt-3 language-model linear-attention lstm pytorch

创建时间：2021-08-08T14:05:27

更新时间：2025-04-16T00:52:43

13.5K

Stars

Stars Increase

相关项目

Tensorflow

人人皆可使用的开源机器学习框架

Stable Diffusion Webui

Hot

Stable Diffusion 的网页版界面

151290

9个月前

+67today

Pytorch

autograd

Python中基于张量和动态神经网络的强大GPU加速计算

89032

6小时前

+46today

NextChat

calclaude

轻量快速的人工智能助手，支持Web、iOS、MacOS、Android、Linux和Windows系统。

82780

5小时前

+30today

Opencv

开源计算机视觉库

Generative Ai For Beginners

Hot

21堂课，开启生成式AI之旅！ https://microsoft.github.io/generative-ai-for-beginners/

78412

2个月前

+59today

D2l Zh

book

《动手学深度学习》是一本面向中文读者的实用型深度学习教材，提供可运行的代码和丰富的讨论内容。它已被全球70多个国家、500多所大学采用，作为深度学习课程的教材。

68461

6小时前

+38today

Gpt_academic

academic

这款工具旨在为GPT、GLM等大型语言模型提供更便捷易用的交互界面，尤其针对论文阅读、润色和写作进行了优化。它采用模块化设计，支持自定义快捷按钮和函数插件，并能剖析和翻译Python和C++等项目代码。此外，它还具备PDF和LaTeX论文的翻译和总结功能，支持同时查询多个LLM模型（例如ChatGLM3等本地模型），并已接入通义千问、DeepSeekCoder、讯飞星火、文心一言、Llama 2、RWKV、Claude 2、MOSS等多种模型。

68198

5小时前

+16today