mobile-vit-pytorch

使用Pytorch实现视觉Transformer，这是一种仅用单个Transformer编码器就能轻松达到图像分类领域最先进水平（SOTA）的简易方法。

李宏毅老师推荐的深度学习教程PDF版，可在GitHub下载：https://github.com/datawhalechina/leedl-tutorial/releases

RWKV（发音为RwaKuv）是一个具有出色大语言模型性能的循环神经网络（RNN），它也可以像GPT Transformer一样直接训练（可并行化）。我们现在处于RWKV-7 "鹅"阶段。因此，它结合了RNN和Transformer的优点——性能卓越、线性时间复杂度、常数空间复杂度（无键值缓存）、快速训练、无限上下文长度以及免费的句子嵌入。

这是AAAI 2021 录用论文“Informer”的GitHub代码库。

使用Pytorch框架实现/复现OpenAI的文本转图像Transformer模型DALL-E

一个简洁完整、基于全注意力机制的Transformer模型，并整合了来自多篇论文中一些有前景的实验特性。

图注意力网络 (论文链接：https://arxiv.org/abs/1710.10903)

这是Veličković等人于2017年发表的论文（https://arxiv.org/abs/1710.10903）中提出的图注意力网络模型的PyTorch实现。

图像字幕生成：PyTorch 教程 | 展示、关注和讲述

Keras 注意力层（Luong 和 Bahdanau 分数）