最近,苹果公司的研究人员对大语言模型(LLM)的数学推理能力进行了深入研究,推出了一项名为 GSM-Symbolic 的新基准测试。

这个新基准测试是在 GSM8K 的基础上发展的,后者主要用于评估基础数学能力。虽然许多 LLM 在 GSM8K 上的表现有所提升,但科学界对这些模型的推理能力仍然存有疑问,认为现有的评估指标可能无法全面反映它们的真实能力。研究发现,LLM 通常依赖于概率模式匹配,而非真正的逻辑推理,导致它们对输入的小变化非常敏感。

image.png

在这项新研究中,研究人员使用符号模板生成多样化的数学问题,从而提供更可靠的评估。实验结果显示,当问题的数值或复杂度增加时,LLM 的表现显著下降。此外,即使是添加与问题表面相关但实际上无关的信息,也可能导致模型性能下降高达65%。这些结果再次印证了 LLM 在推理时更多依赖模式匹配,而非正式的逻辑推理。

GSM8K 数据集包含超过8000个适合年级水平的数学问题,因其流行而引发了一些风险,比如数据污染和小问题变化带来的性能波动。为了应对这些挑战,GSM-Symbolic 的出现使得问题的多样性得到了有效控制。这项基准测试对20多种开放和封闭模型进行了评估,使用了来自100个模板的5000个样本,展现了 LLM 在数学推理能力上的深刻见解和局限性。

初步实验表明,不同模型在 GSM-Symbolic 上的性能差异显著,整体准确率低于在 GSM8K 上所报告的表现。研究进一步探讨了更改变量名称和数值对 LLM 的影响,结果表明数值变化对性能的影响更大。此外,问题的复杂性也直接影响准确性,复杂问题导致性能显著下降。这些结果表明,模型在处理数学问题时可能更依赖于模式匹配,而非真正的推理能力。

这项研究强调了当前 GSM8K 评估的局限性,并介绍了新基准 GSM-Symbolic,旨在评估 LLM 的数学推理能力。总体而言,研究结果表明,LLM 在处理复杂问题时仍需进一步提升逻辑推理能力。

论文:https://arxiv.org/abs/2410.05229

划重点:  

🧮 研究人员推出新基准 GSM-Symbolic,评估 LLM 的数学推理能力。  

📉 LLM 在处理复杂数学问题时表现较差,依赖模式匹配而非逻辑推理。  

📊 研究揭示不同模型在新基准下性能差异显著,呼吁改善评估方法。