近日，DeepSeek 宣布推出其首个通过强化学习 （RL） 训练的推理模型 DeepSeek-R1，该模型在多个推理基准测试中取得了与 OpenAI-o1-1217相当的性能。 DeepSeek-R1基于 DeepSeek-V3-Base 模型，并采用了多阶段训练和冷启动数据来提高推理能力。DeepSeek 的研究人员首先开发了 DeepSeek-R1-Zero，这是一个完全通过大规模强化学习训练的模型，没有任何监督微调的预备步骤。DeepSeek-R1-Zero 在推理基准测试中展现出卓越的性能，例如在 AIME2024考试中，其 pass@1分数从15.6% 提升至71.0%。然而，DeepSeek-R1-Zero 也存在一些问题