TAG-Bench

数据库查询的自然语言处理基准测试

普通产品编程自然语言处理数据库查询

TAG-Bench是一个用于评估和研究自然语言处理模型在回答数据库查询方面性能的基准测试。它基于BIRD Text2SQL基准测试构建，并通过增加对世界知识或超越数据库中明确信息的语义推理要求，提高了查询的复杂性。TAG-Bench旨在推动AI和数据库技术的融合，通过模拟真实的数据库查询场景，为研究者提供了一个挑战现有模型的平台。

提供了基于BIRD Text2SQL基准测试的80个复杂查询，涵盖匹配、比较、排名和聚合查询。
要求模型具备世界知识或进行超越数据库信息的语义推理。
支持使用Pandas DataFrames来模拟数据库环境。
推荐使用GPU来创建表索引，以提高查询效率。
提供了详细的设置指南，包括环境创建、数据库转换和索引创建。
支持多种评估方法，包括手写TAG、Text2SQL、Text2SQL+LM、RAG和检索+LM排名。
通过LOTUS文档提供了模型配置和评估的详细说明。

TAG-Bench主要面向自然语言处理和数据库研究领域的研究者和开发者。它适合那些希望评估和改进模型在处理复杂数据库查询方面性能的专业人士。通过使用TAG-Bench，他们可以更好地理解模型的强项和弱点，并探索新的算法和技术来提升模型的推理和查询处理能力。

研究者使用TAG-Bench来评估他们开发的新型自然语言处理模型在处理复杂数据库查询时的表现。
开发者利用TAG-Bench来测试和优化他们的数据库查询处理系统，以提高其在实际应用中的性能。
教育机构使用TAG-Bench作为教学工具，帮助学生理解自然语言处理在数据库查询中的应用。

创建conda环境并下载依赖。
下载BIRD数据库并将其转换为Pandas DataFrames。
为每个表创建索引（推荐使用GPU）。
获取Text2SQL提示并修改tag_queries.csv文件。
在tag目录下运行评估命令，以复现论文中的结果。

打开网站

TAG-Bench 最新流量情况

月总访问量

499904316

跳出率

37.31%

平均页面访问数

5.8

平均访问时长

00:06:52

TAG-Bench 访问量趋势

TAG-Bench 访问地理位置分布

TAG-Bench 流量来源

TAG-Bench 替代品

Best AI Websites & Tools

TAG-Bench

TAG-Bench 最新流量情况

TAG-Bench 访问量趋势

TAG-Bench 访问地理位置分布

TAG-Bench 流量来源

TAG-Bench 替代品

DCLM-baseline — 高性能语言模型基准测试数据集

OneGen — 高效单遍统一生成和检索框架，适用于大型语言模型。

Copilot in Excel — Excel中的Copilot，释放数据驱动的决策力。

Mistral-Small-Instruct-2409 — 高效能的指令式微调AI模型

Qwen2.5-LLM — 开源的高性能语言模型，支持多端应用。

Qwen2.5 — 开源大型语言模型，支持多语言和专业领域应用。

xAI — 加速人类科学发现的人工智能

讯飞星火 — 全面对标GPT-4 Turbo的AI大语言模型

AgentRE — 基于代理的框架，用于在复杂信息环境中进行关系抽取。

Skywork-Reward-Llama-3.1-8B — 先进的奖励模型，用于文本分类和偏好判断

Question — 智能问答系统，提供深入见解和答案。

DataGemma RIG — 用于检索和生成结合统计数据的文本模型

Chat With Your Docs — 与文档进行自然语言对话的Python应用

assistant-ui-stockbroker — 股票经纪人人工智能助手，提供专业投资建议。

pixtral-12b-240910 — 多模态大型语言模型，支持图像和文本理解。

MemoRAG — 基于记忆的RAG框架，用于全目的应用

AI-Researcher — 研究创意生成与项目管理的人工智能工具

Qihoo-T2X — Qihoo-T2X，一款针对文本到任意任务的高效扩散变换器模型。

rStar — 通过自博弈相互推理，提升小型语言模型的解决问题能力。

FineChatBI — AI驱动的对话式业务分析工具

RAGLAB — 模块化研究导向的检索增强生成统一框架

ai-discord-bot-PigPig — 基于多模态大型语言模型的Discord机器人

LongCite — 使大型语言模型在长文本问答中生成细粒度引用

Tomato — 利用最小熵耦合隐藏加密信息的自然语言隐写工具

docai — 从文档中提取结构化信息

iText2KG — 利用大型语言模型增量构建知识图谱

DeepSeek-V2.5 — 集成了通用和编程能力的人工智能模型

西湖大模型 — 情商智商俱佳的多模态大模型

心辰Lingo语音大模型 — 沟通无界，让每次对话都创造价值。