面壁小钢炮MiniCPM-V系列的最新版本2.6自发布以来,在全球著名开源社区GitHub和HuggingFace趋势榜上迅速上升至Top3,其GitHub星标数量已破万。自2月1日首次亮相至今,MiniCPM系列的累计下载量已超过百万次,成为端侧模型能力极限的一个重要衡量标准。

微信截图_20240813081342.png

MiniCPM-V2.6以其8B参数实现了单图、多图、视频理解的全面性能提升,超越了GPT-4V。这款端侧多模态模型首次集成了实时视频理解、多图联合理解、多图ICL等高端功能。它在量化后端侧内存仅占6GB,端侧推理速度高达18tokens/s,比上代模型快33%,并且支持llama.cpp、ollama、vllm推理,同时支持多种语言。

这一技术突破在全球技术圈引起了热烈反响,许多开发者和社区成员对MiniCPM-V2.6的发布表现出极大兴趣。

目前,MiniCPM-V2.6的GitHub和Hugging Face开源地址已对外公布,同时提供了llama.cpp、ollama、vllm部署教程的链接。

 MiniCPM-V2.6GitHub 开源地址:

https://github.com/OpenBMB/MiniCPM-V

MiniCPM-V2.6Hugging Face 开源地址:

https://huggingface.co/openbmb/MiniCPM-V-2_6

llama.cpp、ollama、vllm 部署教程地址:

https://modelbest.feishu.cn/docx/Duptdntfro2Clfx2DzuczHxAnhc