TAG-Bench

数据库查询的自然语言处理基准测试

普通产品编程自然语言处理数据库查询

TAG-Bench是一个用于评估和研究自然语言处理模型在回答数据库查询方面性能的基准测试。它基于BIRD Text2SQL基准测试构建，并通过增加对世界知识或超越数据库中明确信息的语义推理要求，提高了查询的复杂性。TAG-Bench旨在推动AI和数据库技术的融合，通过模拟真实的数据库查询场景，为研究者提供了一个挑战现有模型的平台。

提供了基于BIRD Text2SQL基准测试的80个复杂查询，涵盖匹配、比较、排名和聚合查询。
要求模型具备世界知识或进行超越数据库信息的语义推理。
支持使用Pandas DataFrames来模拟数据库环境。
推荐使用GPU来创建表索引，以提高查询效率。
提供了详细的设置指南，包括环境创建、数据库转换和索引创建。
支持多种评估方法，包括手写TAG、Text2SQL、Text2SQL+LM、RAG和检索+LM排名。
通过LOTUS文档提供了模型配置和评估的详细说明。

TAG-Bench主要面向自然语言处理和数据库研究领域的研究者和开发者。它适合那些希望评估和改进模型在处理复杂数据库查询方面性能的专业人士。通过使用TAG-Bench，他们可以更好地理解模型的强项和弱点，并探索新的算法和技术来提升模型的推理和查询处理能力。

研究者使用TAG-Bench来评估他们开发的新型自然语言处理模型在处理复杂数据库查询时的表现。
开发者利用TAG-Bench来测试和优化他们的数据库查询处理系统，以提高其在实际应用中的性能。
教育机构使用TAG-Bench作为教学工具，帮助学生理解自然语言处理在数据库查询中的应用。

创建conda环境并下载依赖。
下载BIRD数据库并将其转换为Pandas DataFrames。
为每个表创建索引（推荐使用GPU）。
获取Text2SQL提示并修改tag_queries.csv文件。
在tag目录下运行评估命令，以复现论文中的结果。

打开网站

TAG-Bench 最新流量情况

月总访问量

494758773

跳出率

37.69%

平均页面访问数

5.7

平均访问时长

00:06:29

TAG-Bench 访问量趋势

TAG-Bench 访问地理位置分布

TAG-Bench 流量来源

TAG-Bench 替代品

Best AI Websites & Tools

TAG-Bench

TAG-Bench 最新流量情况

TAG-Bench 访问量趋势

TAG-Bench 访问地理位置分布

TAG-Bench 流量来源

TAG-Bench 替代品

PARTNR — 多智能体任务规划与推理的基准测试

Cheating LLM Benchmarks — 研究项目，探索自动语言模型基准测试中的作弊行为。

Sequel — 通过自然语言查询数据库，快速获取数据洞察。

DCLM-baseline — 高性能语言模型基准测试数据集

Large Concept Models — 在句子表示空间中的语言建模

OmniAudio-2.6B — 世界上最快的边缘部署音频语言模型

DeepSeek-VL2-Tiny — 先进的大型混合专家视觉语言模型

Megrez-3B-Omni — 端侧全模态理解开源模型

Q-RWKV-6 32B Instruct Preview — 最强大的RWKV模型变体，打破多项英语基准测试。

CosyVoice语音生成大模型2.0-0.5B — 高效、多语种的语音合成模型

WePOINTS — WePOINTS项目，提供多模态模型的统一框架

tulu-3-sft-olmo-2-mixture — 大规模多语言文本数据集

Procyon AI Inference Benchmark for Android — 衡量Android设备AI性能和质量的基准测试工具

MLPerf Client — 个人电脑AI性能基准测试

P-MMEval — 多语言多任务基准测试，用于评估大型语言模型（LLMs）

Devin.ai — AI编程助手，助力工程团队提升效率。

OLMo-2-1124-7B-RM — 大型语言模型，用于文本生成和分类

Project Astra — 探索未来通用AI助手的能力

InternVL2_5-38B — 先进的多模态大型语言模型系列

mwp_ReFT — 基于深度强化学习的模型微调框架

Meta Llama 3.3 — 70B参数的多语言大型预训练语言模型

Florence-VL — 视觉语言模型增强工具，结合生成式视觉编码器和深度广度融合技术。

ChatGPT Pro — 前沿AI模型的规模化访问方案

PaliGemma 2 — PaliGemma 2是功能强大的视觉语言模型，简单易调优。

OLMo 2 1124 7B Preference Mixture — 大规模文本数据集，用于偏好混合研究

OLMo 2 1124 13B Preference Mixture — 大规模多语言偏好混合数据集

OLMo-2-1124-7B-SFT — 高性能英文文本生成模型

OLMo-2-1124-13B-SFT — 先进的文本生成模型

INTELLECT-1-Instruct — 10亿参数的英文文本和代码语言模型