Llamacpp 相关的热门 GitHub AI项目仓库

你的 AI 第二大脑，可自行托管。从网络或你的文档中获取答案。构建自定义代理，安排自动化任务，进行深度研究。将任何在线或本地大型语言模型 (LLM) 变成你个人的自主 AI（例如 GPT、Claude、Gemini、Llama、Qwen、Mistral）。立即开始 – 免费。

Jan是一款开源的ChatGPT替代品，可在你的电脑上完全离线运行。

构建企业级 RAG（检索增强生成）流水线的统一框架，该框架使用小型专用模型

一款自托管、离线、类似 ChatGPT 的聊天机器人，基于 Llama 2 驱动。100% 保护隐私，不会将任何数据发送到您的设备之外。新增功能：支持 Code Llama！

一个基于 llama.cpp，通过网页界面与 Alpaca 模型聊天的应用。应用已完全容器化（Docker），并提供易于使用的 API。

你终端里的代理，配备本地工具：编写代码、使用终端、浏览网页、图像识别。

一个高效运行本地LLM（例如LLaMA/LLaVA）的C#/.NET库。

AGiXT是一个动态的AI智能体自动化平台，能够无缝协调来自不同AI提供商的指令管理和复杂任务执行。它结合了自适应内存、智能功能和多功能插件系统，从而提供高效全面的AI解决方案。

LSP-AI是一个开源语言服务器，作为AI功能的后端，旨在辅助和赋能软件工程师，而不是取代他们。

本地人工智能API平台

Rust语言开发的，可即时控制、本地部署的预训练AI模型

只需改一行代码，就能在你的应用中用其他大型语言模型（LLM）替换OpenAI GPT。Xinference赋予你自由选择任何所需LLM的权利。使用Xinference，你可以运行任何开源语言模型、语音识别模型和多模态模型的推理，无论是在云端、本地服务器还是你的笔记本电脑上。

RamaLama的目标是让使用人工智能变得枯燥乏味。

在 macOS 原生应用中与你最喜欢的 LLaMA 模型聊天

计算任何大型语言模型 (LLM) 的 token/秒速率和 GPU 内存需求。支持 llama.cpp/ggml/bnb/QLoRA 量化。

用于构建人工智能应用程序的TypeScript库

一个基于预计算嵌入和高级相似度度量方法的快速API服务，用于语义文本搜索。该服务通过textrcat内置支持多种文件类型。

在 .NET 中使用 Ollama API 的最简单方法

相信AI的民主化。这是一个基于llama-rs、llama.cpp和rwkv.cpp的Node.js Llama实现，可在你的笔记本电脑CPU上本地运行。支持Llama、Alpaca、GPT4All、Vicuna和RWKV模型。

利用大型语言模型 (LLM) 提供代码补全（以及更多功能）的语言服务器协议 (LSP) 服务器