新研究揭示了大型语言模型（LLM）通过搜索功能显著提升性能的潜力，特别是在Python代码生成任务上，参数量仅为8亿的Llama3.1模型在经过100次搜索后，其表现与GPT-4o不相上下。这一发现与Rich Sutton在2019年的观点相呼应，即计算能力提升下，通用方法和搜索、学习策略的结合尤为重要。研究者发现，增加推理阶段的重复采样次数能显著提高模型在数学、推理和代码生成等领域的表现。实验中，使用100个小型Llama模型进行搜索，实现了超越GPT-4o的性能。作者通过vLLM库进行批量推理，利用10个A100-40GB GPU，实现了40k tokens / 秒的输出速度。在HumanEval基准测试中，GPT-4o的pass@1成绩为90.2%，而经过搜索优化的Llama3.18B模型在重复采样数为100和1000时，分别达到90.5%和95.1%的成绩，优于GPT-4o。实验表明，较小模型通过搜索优化，能在特定领域超越大型模型，强调了搜索在提升生成模型性能中的关键作用。

["研究人员利用强化学习训练 AI 代理人自主创建真正的拼贴艺术品","强化学习模型通过与画布互动来学习拼贴艺术品的创作过程","通过用户研究和基于 CLIP 的评估证明了其在 AI 生成的艺术方面的出色性能"]