hallucination-leaderboard

一个用于比较大型语言模型在总结短文档时产生幻觉的排行榜。

普通产品其他LLM幻觉检测

该产品是一个由Vectara开发的开源项目，用于评估大型语言模型（LLM）在总结短文档时的幻觉产生率。它使用了Vectara的Hughes幻觉评估模型（HHEM-2.1），通过检测模型输出中的幻觉来计算排名。该工具对于研究和开发更可靠的LLM具有重要意义，能够帮助开发者了解和改进模型的准确性。

该产品主要面向自然语言处理领域的研究人员、开发者以及对LLM性能评估感兴趣的用户。它可以帮助他们了解不同LLM在生成内容时的准确性和可靠性，从而选择更适合特定任务的模型。

研究人员可以使用该排行榜来比较不同LLM模型在生成总结时的幻觉率，从而选择更可靠的模型。
开发者可以利用该工具评估自己开发的LLM模型性能，优化模型以减少幻觉产生。
企业可以参考该排行榜选择适合其业务需求的LLM模型，用于内容生成、客服等场景。

1. 访问项目主页（https://github.com/vectara/hallucination-leaderboard），了解项目背景和使用方法。
2. 查看README文件，了解如何使用HHEM-2.1模型进行评估。
3. 准备需要评估的LLM模型及其API接口。
4. 使用项目提供的脚本或代码，调用LLM模型生成总结。
5. 通过HHEM-2.1模型评估生成的总结，获取幻觉率等指标。

打开网站

hallucination-leaderboard 最新流量情况

月总访问量

502571820

跳出率

37.10%

平均页面访问数

5.9

平均访问时长

00:06:29

hallucination-leaderboard 访问量趋势

hallucination-leaderboard 访问地理位置分布

hallucination-leaderboard 流量来源

hallucination-leaderboard 替代品

Best AI Websites & Tools

hallucination-leaderboard

hallucination-leaderboard 最新流量情况

hallucination-leaderboard 访问量趋势

hallucination-leaderboard 访问地理位置分布

hallucination-leaderboard 流量来源

hallucination-leaderboard 替代品

askrepo — 利用LLM读取源代码并提供问题解答

GitHub to LLM Converter — 将GitHub链接转换为适合LLM的格式

Cheating LLM Benchmarks — 研究项目，探索自动语言模型基准测试中的作弊行为。

LlamaIndex.TS — 构建LLM应用的框架

RAG_Techniques — 革命性的检索增强生成系统技术集合。

Langtail — 简化 LLM 提示管理和促进团队协作

llm.c — 使用简单、原始的 C/CUDA 进行 LLM 训练

Algomax — 简化LLM和RAG模型输出评估，提供对定性指标的洞察

kg-gen — 从任何文本中提取知识图谱的人工智能工具。

Crawl4LLM — 一个用于LLM预训练的高效网络爬虫工具，专注于高效爬取高质量网页数据。

Kie.ai — 在Kie.ai上集成DeepSeek R1和V3 API，提供安全且可扩展的AI解决方案。

ZeroBench — ZeroBench 是一个针对当代大型多模态模型的高难度视觉基准测试。

SWE-Lancer — SWE-Lancer 是一个包含 1400 多个自由软件工程任务的基准测试，总价值 100 万美元。

KET-RAG — KET-RAG 是一个结合知识图谱的检索增强型生成框架，用于高效文档索引和答案生成。

VisionAgent — VisionAgent是一个用于生成代码以解决视觉任务的库，支持多种LLM提供商。

OmniParser V2 — OmniParser V2 是一种将任何 LLM 转化为计算机使用代理的技术。

Proxy — Proxy 是一个全自动化的 AI 助手，用于完成日常任务。

Supametas.AI — 非结构化数据处理平台，助力企业快速构建行业数据集并集成到LLM RAG知识库

DeepSeek 模型兼容性检测 — 检测设备是否能运行不同规模的 DeepSeek 模型，提供兼容性预测。

recurrent-pretraining — 大规模深度循环语言模型的预训练代码，支持在4096个AMD GPU上运行。

Concierge AI — 与您的应用程序进行自然语言交互，提升工作效率和便捷性。

Zyphra — Zyphra是一家专注于人工智能技术的公司，提供聊天模型和相关服务。

Basedash — AI原生的商业智能平台，通过自然语言生成数据可视化和仪表板

RAG-FiT — RAG-FiT是一个用于提升LLMs利用外部信息能力的库，通过特别创建的RAG增强数据集对模型进行微调。

s1-32B — s1是一个基于Qwen2.5-32B-Instruct微调的推理模型，仅用1000个样本进行训练。

Site RAG — 一个用于在网站上提问的Chrome扩展程序，支持本地运行和向量存储。

Qwen2.5-1M — 支持100万Token上下文的开源Qwen模型，适用于长序列处理任务

Qwen2.5-Max — Qwen2.5-Max是一个大规模的Mixture-of-Expert (MoE)模型，致力于提升模型智能。

SCNet DeepSeek — DeepSeek是一个智能聊天助手，提供高效的人工智能对话服务。