SwiftInfer
基于TensorRT框架的大规模语言模型推理加速库
普通产品编程TensorRT智能聊天
SwiftInfer是一个基于Nvidia TensorRT框架的大规模语言模型(LLM)推理加速库,通过GPU加速,极大提升LLM在生产环境中的推理性能。该项目针对流式语言模型提出的Attention Sink机制进行了实现,支持无限长度的文本生成。代码简洁,运行方便,支持主流的大规模语言模型。
SwiftInfer 最新流量情况
月总访问量
494758773
跳出率
37.69%
平均页面访问数
5.7
平均访问时长
00:06:29