Llm Inference 相关的热门 GitHub AI项目仓库

GPT4All：在任何设备上运行本地大型语言模型。开源且可用于商业用途。

这个项目旨在分享大模型的技术原理和实际应用经验，包括大模型的工程化和落地应用。

20多种高性能大型语言模型，附带大规模预训练、微调和部署的方案。

在云端运行任何开源大型语言模型（LLM），例如 DeepSeek 和 Llama，并将其作为兼容 OpenAI API 的端点。

Mistral 模型的官方推理库

本地部署的高速大型语言模型服务

轻松构建AI应用和模型服务 - 快速创建模型推理API、作业队列、大型语言模型(LLM)应用、多模型管道等等！

LMDeploy 是一款用于压缩、部署和服务大型语言模型 (LLM) 的工具包。

Superduper：无需迁移数据，即可在你现有的数据基础设施和首选工具上构建端到端的AI应用和智能体工作流程。

一份精选的关于大语言模型/大视觉语言模型推理的优秀论文及代码清单，涵盖了WINT8/4、Flash-Attention、Paged-Attention、并行化等技术。

面向 CPU 的，考虑稀疏性的深度学习推理运行时

针对加速型基础设施和微服务架构优化的生成式 AI 参考工作流程。

能够扩展到数千个微调大型语言模型的多模型LoRA推理服务器

FlashInfer：大型语言模型（LLM）服务内核库

Databricks开发的大型语言模型DBRX的代码示例和资源

MiniMax-01 是一种简单的极小极大算法实现，这是一种广泛用于两人轮流进行的棋类游戏（例如井字棋）决策制定的策略。该算法旨在最大限度地减少玩家可能遭受的最大损失，使其成为开发各种游戏场景中 AI 对手的热门选择。

美杜莎：一个利用多解码头加速大语言模型生成的简单框架

智能代理（边缘和大型语言模型）代理。Arch能够处理构建代理应用程序中繁琐的复杂工作，从而加快您的开发速度。它具有快速的任务澄清、代理路由、提示与常用工具的无缝集成以及对大型语言模型的统一访问和可观察性等功能。

在您喜爱的设备上几分钟内构建您的聊天机器人；提供最先进的LLM压缩技术；在英特尔平台上高效运行LLM。

将家用设备连接成强大的集群以加速大语言模型推理。设备越多，推理速度越快。