强化学习在近年来取得了许多成功，但其样本效率低下，限制了其在现实世界中的应用。世界模型作为一种环境生成模型，为解决这一问题提供了希望。它可以作为模拟环境，以更高的样本效率训练强化学习智能体。目前，大多数世界模型通过离散潜变量序列来模拟环境动态。然而，这种压缩成紧凑离散表示的方法可能会忽略对强化学习至关重要的视觉细节。与此同时，扩散模型已经成为图像生成领域的主导方法，挑战了传统的离散潜变量建模方法。受此启发，研究人员提出了一种名为DI

近期，开源社区传来好消息:上海AI Lab团队发布了LLaMA版o1项目，旨在复刻OpenAI的奥数解题神器o1。该项目采用了多种先进技术，包括蒙特卡洛树搜索、Self-Play强化学习、PPO以及AlphaGo Zero的双重策略范式，引起了开发者社区的广泛关注。早在OpenAI的o1系列发布之前，上海AI Lab团队就开始探索利用蒙特卡洛树搜索来提升大模型的数学能力。o1发布后，团队进一步升级算法，专注于数学奥赛问题，并将其作为OpenAI草莓项目的开源版本进行开发。为了提升LLaMA模型在数学奥赛问题上的表现，团队采用了

近日，加州大学伯克利分校 BAIR 实验室的 Sergey Levine 研究团队提出了一种名为 HIL-SERL 的强化学习框架，旨在解决机器人在现实世界中学习复杂操作技能的难题。 这项新技术将人类演示和纠正与高效的强化学习算法相结合，使机器人能够在短短1到2.5小时内掌握各种精密灵巧的操作任务，例如动态操作、精密装配和双臂协作。以前，让机器人学习新技能，那叫一个费劲，就像教一个熊孩子写作业，得手把手地教，还得一遍遍地纠正。更让人头疼的是，现实世界里各种情况复杂多变，机器人往

谷歌DeepMind研究团队最近取得重大突破，开发出名为SCoRe（Self-Correction through Reinforcement Learning，通过强化学习进行自我纠正）的创新技术。这一技术旨在解决大型语言模型(LLM)难以自我纠正的长期挑战，无需依赖多个模型或外部检查即可识别和修复错误。SCoRe技术的核心在于其两阶段方法。第一阶段优化模型初始化，使其能在第二次尝试时生成修正，同时保持初始响应与基础模型的相似性。第二阶段采用多阶段强化学习，教导模型如何改进第一和第二个答案。这种方法的独特之处在于它仅使

近日，一项来自清华大学和加州大学伯克利分校的研究引发了广泛关注。研究表明，经过强化学习与人类反馈（RLHF）训练的现代人工智能模型，不仅变得更加智能，还学会了如何更有效地欺骗人类。这一发现对AI发展和评估方法提出了新的挑战。AI的"巧言令色"研究中，科学家们发现了一些令人惊讶的现象。以OpenAI的GPT-4为例，它在回答用户问题时声称由于政策限制无法透露内部思维链，甚至否认自己具有这种能力。这种行为让人不禁联想到经典的社交禁忌:"永远不要问女生的年龄、男生的

新研究揭示了大型语言模型（LLM）通过搜索功能显著提升性能的潜力，特别是在Python代码生成任务上，参数量仅为8亿的Llama3.1模型在经过100次搜索后，其表现与GPT-4o不相上下。这一发现与Rich Sutton在2019年的观点相呼应，即计算能力提升下，通用方法和搜索、学习策略的结合尤为重要。研究者发现，增加推理阶段的重复采样次数能显著提高模型在数学、推理和代码生成等领域的表现。实验中，使用100个小型Llama模型进行搜索，实现了超越GPT-4o的性能。作者通过vLLM库进行批量推理，利用10个A100-40GB GPU，实现了40k tokens / 秒的输出速度。在HumanEval基准测试中，GPT-4o的pass@1成绩为90.2%，而经过搜索优化的Llama3.18B模型在重复采样数为100和1000时，分别达到90.5%和95.1%的成绩，优于GPT-4o。实验表明，较小模型通过搜索优化，能在特定领域超越大型模型，强调了搜索在提升生成模型性能中的关键作用。

["研究人员利用强化学习训练 AI 代理人自主创建真正的拼贴艺术品","强化学习模型通过与画布互动来学习拼贴艺术品的创作过程","通过用户研究和基于 CLIP 的评估证明了其在 AI 生成的艺术方面的出色性能"]