Turtle Benchmark

评估大型语言模型的逻辑推理和上下文理解能力。

普通产品编程基准测试逻辑推理

Turtle Benchmark是一款基于'Turtle Soup'游戏的新型、无法作弊的基准测试，专注于评估大型语言模型（LLMs）的逻辑推理和上下文理解能力。它通过消除对背景知识的需求，提供了客观和无偏见的测试结果，具有可量化的结果，并且通过使用真实用户生成的问题，使得模型无法被'游戏化'。

目标明确、无偏见：专注于推理能力，无需背景知识。
结果可量化：提供清晰、可测量的结果（正确/错误/未知），便于比较。
持续进化：使用真实用户生成的问题，防止系统被操纵。
语言理解：测试模型理解上下文和进行逻辑推断的能力。
使用简单：通过简单的命令行操作即可进行评估。
数据丰富：包含32个独特的'Turtle Soup'故事和1537个人工标注的标签。
结果解读：通过散点图比较不同模型在2-shot学习场景下的整体准确率和故事平均准确率。

Turtle Benchmark适用于需要评估和比较大型语言模型性能的研究者和开发者。它特别适合那些专注于模型的逻辑推理和上下文理解能力的专业人士，帮助他们更准确地了解模型在中文语境下的表现。

研究者使用Turtle Benchmark评估不同大型语言模型在特定逻辑推理任务上的表现。
开发者利用Turtle Benchmark测试他们的语言模型是否能够准确理解并回答用户的问题。
教育机构使用Turtle Benchmark作为教学工具，帮助学生理解大型语言模型的工作原理和性能评估方法。

1. 进入Turtle Benchmark项目目录。
2. 将.env.example文件重命名为.env并添加API密钥。
3. 执行`python evaluate.py`命令以进行2-shot学习评估。
4. 如需进行零样本（Zero-shot）评估，执行`python evaluate.py --shot 0`命令。
5. 查看评估结果，包括整体准确率和故事平均准确率。

打开网站

Turtle Benchmark 最新流量情况

月总访问量

494758773

跳出率

37.69%

平均页面访问数

5.7

平均访问时长

00:06:29

Turtle Benchmark 访问量趋势

Turtle Benchmark 访问地理位置分布

Turtle Benchmark 流量来源

Turtle Benchmark 替代品

Best AI Websites & Tools

Turtle Benchmark

Turtle Benchmark 最新流量情况

Turtle Benchmark 访问量趋势

Turtle Benchmark 访问地理位置分布

Turtle Benchmark 流量来源

Turtle Benchmark 替代品

P-MMEval — 多语言多任务基准测试，用于评估大型语言模型（LLMs）

SimpleQA — 衡量语言模型回答事实性问题能力的基准测试

llm-colosseum — 通过街霸3对战评估大型语言模型

DCLM-baseline — 高性能语言模型基准测试数据集

LMSYS Chatbot Arena — 在线聊天机器人竞技场，比较不同语言模型的表现。

Clio — 隐私保护的AI使用洞察系统

Phi-4 — 微软最新的小型语言模型，专注于复杂推理

Procyon AI Inference Benchmark for Android — 衡量Android设备AI性能和质量的基准测试工具

MLPerf Client — 个人电脑AI性能基准测试

DeepSeek-V2.5-1210 — 高性能混合专家语言模型

Proofreading AI — 在线AI校对工具，个人写作指南，快速完善文档。

INTELLECT-1 Chat — 全球合作训练的10B参数语言模型聊天工具

OLMo-2-1124-13B-DPO — 高性能英文语言模型，适用于多样化任务

ScholarQABench — 科学文献综合评估平台

OpenScholar — 科学文献合成的检索增强型语言模型

OLMo 2 13B — 高性能的英文学术基准语言模型

OLMo 2 — 最先进的全开放语言模型

Tülu 3 — 开源的先进语言模型后训练框架

Lingma SWE-GPT — 专为软件改进设计的开源大型语言模型。

Nous Research — 人类中心语言模型和模拟器的领导者

FrontierMath — AI数学极限测试基准

browser-use — 开源的网页自动化库，支持任何大型语言模型（LLM）

OuteTTS-0.1-350M — 一款通过纯语言模型实现的文本到语音合成模型

MobileLLM-1B — Meta 开发的子十亿参数语言模型，适用于设备端应用。

MobileLLM-600M — 高效优化的600M参数语言模型，专为设备端应用设计。

PARTNR — 多智能体任务规划与推理的基准测试

MobileLLM-350M — 高效优化的子十亿参数语言模型，专为设备端应用设计

MobileLLM-125M — 高效优化的小型语言模型，专为设备端应用设计。

MobileLLM — 优化的小型语言模型，适用于移动设备