optimize-foundation-models-deployment-on-amazon-sagemaker

GPT4All：在任何设备上运行本地大型语言模型。开源且可用于商业用途。

使用 Gitleaks 查找代码中的敏感信息

这个项目旨在分享大模型的技术原理和实际应用经验，包括大模型的工程化和落地应用。

20多种高性能大型语言模型，附带大规模预训练、微调和部署的方案。

在云端运行任何开源大型语言模型（LLM），例如 DeepSeek 和 Llama，并将其作为兼容 OpenAI API 的端点。

一些 Jupyter Notebook 示例，演示如何使用 Amazon SageMaker 构建、训练和部署机器学习模型。

Mistral 模型的官方推理库

本地部署的高速大型语言模型服务

轻松构建AI应用和模型服务 - 快速创建模型推理API、作业队列、大型语言模型(LLM)应用、多模型管道等等！

LMDeploy 是一款用于压缩、部署和服务大型语言模型 (LLM) 的工具包。