SwiftInfer

基于TensorRT框架的大规模语言模型推理加速库

普通产品编程TensorRT智能聊天
SwiftInfer是一个基于Nvidia TensorRT框架的大规模语言模型(LLM)推理加速库,通过GPU加速,极大提升LLM在生产环境中的推理性能。该项目针对流式语言模型提出的Attention Sink机制进行了实现,支持无限长度的文本生成。代码简洁,运行方便,支持主流的大规模语言模型。
打开网站

SwiftInfer 最新流量情况

月总访问量

488643166

跳出率

37.28%

平均页面访问数

5.7

平均访问时长

00:06:37

SwiftInfer 访问量趋势

SwiftInfer 访问地理位置分布

SwiftInfer 流量来源

SwiftInfer 替代品