最近，苹果公司的研究人员对大语言模型（LLM）的数学推理能力进行了深入研究，推出了一项名为 GSM-Symbolic 的新基准测试。这个新基准测试是在 GSM8K 的基础上发展的，后者主要用于评估基础数学能力。虽然许多 LLM 在 GSM8K 上的表现有所提升，但科学界对这些模型的推理能力仍然存有疑问，认为现有的评估指标可能无法全面反映它们的真实能力。研究发现，LLM 通常依赖于概率模式匹配，而非真正的逻辑推理，导致它们对输入的小变化非常敏感。在这项新研究中，研究人员使用符号模板生成

在人工智能的世界里，机器学习模型尤其是大型语言模型（LLMs）的推理能力一直是科学家们关注的焦点。最近，苹果公司的AI研究团队发表了一篇论文，题为《理解大型语言模型在数学推理上的局限性》，为我们揭开了这些模型在处理逻辑问题时的局限性。论文中，研究者们通过一个简单的数学问题来展示这一点。他们首先提出了一个关于奥利弗摘猕猴桃的问题:如下所示:奥利弗星期五摘了44颗猕猴桃。星期六他又摘了58颗猕猴桃。星期天他摘的猕猴桃数量是星期五的两倍。奥利弗一共有多

LMSYS组织的大模型竞技场—Chatbot Arena最新榜单显示，LMSYS Chatbot Arena的总排名11超越诸多开源模型如Llama3-70B、Qwen2-72B、Nemotron-4-340B、Gemma2-27B，位居全球开源模型榜首。DeepSeek-V2-0628，相较于0507版本，显著提升了在代码数学推理、指令跟随、角色扮演、JSON Output能力，特别是在难问题、代码、长问题和数学领域与GPT-4-Turbo-0409、Claude3Opus等领先模型并驾齐驱。DeepSeek-V2-0628在全球与国内模型评比中均显卓著，国内排名第二位，并已于2024年6月28日上线服务，提供性价比极高的API和网页端访问。