蚂蚁集团CodeFuse代码大模型开源ModelCache大模型语义缓存
站长之家
42
蚂蚁集团旗下CodeFuse代码大模型开源了ModelCache大模型语义缓存,以降低大型模型应用的推理成本,提升用户体验。ModelCache的架构包括adapter、embedding、similarity和data_manager模块,可以将文本转换为语义向量表示,并对向量进行相似度排序和评估。ModelCache的线上效果统计表明,命中缓存可以将平均耗时降低10倍,提速率可达14.5%。未来,ModelCache将继续优化性能和精度,以提高召回时间和准确率。
© 版权所有 AIbase基地 2024, 点击查看来源出处 - https://www.aibase.com/zh/news/2866