Aphrodite-engine

PygmalionAI的大规模推理引擎

普通产品编程大规模推理语言模型
Aphrodite是PygmalionAI的官方后端引擎,旨在为PygmalionAI网站提供推理端点,并允许以极快的速度为大量用户提供Pygmalion模型服务。Aphrodite利用vLLM的分页注意力技术,实现了连续批处理、高效的键值管理、优化的CUDA内核等特性,支持多种量化方案,以提高推理性能。
打开网站

Aphrodite-engine 最新流量情况

月总访问量

494758773

跳出率

37.69%

平均页面访问数

5.7

平均访问时长

00:06:29

Aphrodite-engine 访问量趋势

Aphrodite-engine 访问地理位置分布

Aphrodite-engine 流量来源

Aphrodite-engine 替代品