PowerInfer-2

专为智能手机设计的高效大型语言模型推理框架

普通产品编程智能手机大型模型
PowerInfer-2是一个为智能手机特别优化的推理框架,支持高达47B参数的MoE模型,实现了每秒11.68个token的推理速度,比其他框架快22倍。它通过异构计算和I/O-Compute流水线技术,显著减少了内存使用,并提高了推理速度。该框架适用于需要在移动设备上部署大型模型的场景,以增强数据隐私和性能。
打开网站

PowerInfer-2 最新流量情况

月总访问量

295

跳出率

47.50%

平均页面访问数

2.2

平均访问时长

00:01:46

PowerInfer-2 访问量趋势

PowerInfer-2 访问地理位置分布

PowerInfer-2 流量来源

PowerInfer-2 替代品