近日，昆仑万维携手新加坡南洋理工大学成功开发了名为 Q * 的算法，能够显著提升现有大模型的推理能力。Q * 在不同数据集上帮助小模型达到参数量比其大数十倍甚至上百倍模型的推理能力，使得模型性能大幅提升，同时显著降低了计算资源的需求，为人工智能的广泛应用带来全新可能，开创了高效智能的新纪元。
研究人员在论文《Q*: Improving Multi-step Reasoning for LLMs with Deliberative Planning》中提出了 Q * 框架，通过将大语言模型的推理轨迹分解为若干个状态，并利用 A * 搜索算法实现全盘规划，提升了开源模型在推理任务上的性能。
具体来说，通过定义 Path Cost 的函数和 Accumulated Reward 的函数，实现了对历史状态收益和未来期望收益的综合考虑。在实验中，Q * 帮助不同模型在各个数据集上实现了显著的准确率提升，超越了一些知名模型。
目前，Q * 的研究还处于初级阶段，仍有改进空间。未来，昆仑万维将继续深入研究，提升国产开源模型的推理能力，为人工智能技术发展带来更多可能。
论文链接:
https://arxiv.org/abs/2406.14283