近日，加州大学伯克利分校的 Sky Computing Lab 团队发布了 Sky-T1-32B-Preview，这是一款开放源代码的推理型人工智能模型，标志着推理型 AI 的研发变得更加容易和便宜。该模型在多个关键基准测试中表现出色，甚至与 OpenAI 早期版本的 o1相媲美。
Sky-T1的训练成本令人瞩目，仅为450美元，这意味着高水平推理能力的复制已变得更加可负担且高效。虽然450美元的费用可能听起来不算低，但与几年前动辄数百万美元的训练成本相比，已是巨大的下降。借助合成训练数据，即由其他模型生成的训练数据，成本得以显著降低。AI 公司 Writer 最近发布的 Palmyra X004几乎完全依赖合成数据，开发成本也仅为70万美元。
图源备注：图片由AI生成，图片授权服务商Midjourney
与大多数 AI 不同，推理模型能够有效地自我核查，这使得它们在处理一些常见问题时更加可靠。推理模型通常在得出解决方案时需要更多时间，可能需要几秒到几分钟，但在物理、科学和数学等领域，其可靠性优势显著。
NovaSky 团队利用了另一种推理模型 —— 阿里巴巴的 QwQ-32B-Preview，生成 Sky-T1的初始训练数据，并对数据进行了 “策划”，之后使用 OpenAI 的 GPT-4o-mini 将数据重新整理成更可操作的格式。训练32亿参数的 Sky-T1只需约19小时，使用的是一组8个 Nvidia H100GPU。参数数量与模型的解决问题能力大致相关。
根据 NovaSky 团队的说法，Sky-T1在 MATH500这一包含 “竞赛级” 数学挑战的集合上表现超越了 o1的早期预览版本。此外，Sky-T1在 LiveCodeBench 中遇到的难题上也超过了 o1的预览版本。然而，在涉及物理、生物和化学等领域的问题上，Sky-T1在 GPQA-Diamond 测试中的表现却逊色于 o1预览版。
需要指出的是，OpenAI 的 GA 版本 o1比预览版更为强大，而且 OpenAI 预计将在未来几周内发布更为优秀的推理模型 o3。不过，NovaSky 团队表示，Sky-T1仅是他们开发具备先进推理能力的开源模型旅程的开始。
“展望未来，我们将专注于开发更高效的模型，以保持强大的推理性能，并探索进一步提升模型效率和准确性的高级技术，” 团队在博客中写道。“请继续关注我们在这些激动人心的项目上的进展。”
