强化学习在近年来取得了许多成功，但其样本效率低下，限制了其在现实世界中的应用。世界模型作为一种环境生成模型，为解决这一问题提供了希望。它可以作为模拟环境，以更高的样本效率训练强化学习智能体。目前，大多数世界模型通过离散潜变量序列来模拟环境动态。然而，这种压缩成紧凑离散表示的方法可能会忽略对强化学习至关重要的视觉细节。与此同时，扩散模型已经成为图像生成领域的主导方法，挑战了传统的离散潜变量建模方法。受此启发，研究人员提出了一种名为DI

近日，极佳科技提出了一种名为 DriveDreamer4D 的全新框架，旨在利用世界模型的先验知识来提升4D 驾驶场景的重建效果。传统的4D 场景重建方法，主要依赖于 NeRF 和3DGS 这两大流派。NeRF 就好比一个超级画家，它能用神经网络，把一堆照片渲染成一个3D 模型。而3DGS 则是用一堆三维高斯函数，来模拟场景中的各种物体。但这两种方法都有个致命弱点:太依赖训练数据了!就好比，你只见过直线行驶的汽车，突然来个漂移过弯，你就懵逼了。所以，在面对复杂路况，比如变道、加速、减速的时候，

在加利福尼亚州帕洛阿尔托，Tales 团队宣布了一项激动人心的创新产品 —— 大型世界模型（LWM），这款模型能够通过简单的文本提示生成完整的数字游戏世界。由斯坦福大学的博士们和游戏开发者组成的团队，决心通过这项技术彻底改变游戏行业，让所有人都能轻松创建功能完备的游戏，无需任何开发或设计经验。换句话说，你将拥有击败游戏行业巨头的力量!与市场上顶尖游戏工作室竞争，Tales 允许玩家把自己的创意变为现实，创造出用户生成的互动和沉浸式体验。通过众包数据、资源

智源研究院正式发布了他们的新一代多模态世界模型 Emu3，该模型的最大亮点在于，它仅依靠下一个 token 的预测能力，就能在文本、图像和视频这三种不同模态中进行理解和生成。在图像生成方面，Emu3能够根据视觉 token 预测生成高质量的图像。这意味着用户可以期待灵活的分辨率和多样的风格。而在视频生成方面，Emu3则是以一种全新的方式工作，不同于其他模型通过噪声生成视频，Emu3通过顺序预测直接生成视频。这种技术的进步使得视频生成变得更加流畅自然。在图像生成、视频生成和

​北京智源人工智能研究院宣布推出原生多模态世界模型Emu3。这一模型基于下一个token预测技术，无需依赖扩散模型或组合方法，就能够完成文本、图像、视频三种模态数据的理解和生成。Emu3在图像生成、视频生成、视觉语言理解等任务中超过了现有的知名开源模型，如SDXL、LLaVA、OpenSora等，展现了卓越的性能。

如今的人工智能模型是否真的能像人类一样记忆、思考、计划和推理呢?有些 AI 实验室似乎让人觉得我们离 “人类级 AI” 不远了，但 Meta 的首席 AI 科学家 Yann LeCun 却给了大家一记冷水。他认为，我们要想实现这一目标，可能还需要十年的努力，而这一切的关键在于 “世界模型”。在今年年初，OpenAI 推出了一项新功能，声称它的 ChatGPT 可以 “记住” 与用户的对话。它最新一代的模型在生成输出时显示 “思考” 字样，甚至宣称这些模型能够进行 “复杂推理”。图源备注：图片由AI生成，

机器人初创公司1X Technologies 开发了一种新的生成模型，可以提高仿真中训练机器人系统的效率。该公司在一篇新的博客文章中宣布了该模型，解决了机器人技术的重要挑战之一，即学习“世界模型（1X World Model）”，该模型可以预测世界如何响应机器人的动作而变化。当机器人从相同的起始图像序列出发时，这个世界模型可以根据不同的动作提议，想象出多种未来场景。这种能力使其能够预测复杂的物体互动，比如刚体的运动、物体掉落的效果、以及与可变形物体（如窗帘、衣物）和关节

挪威的初创公司1X Technologies 最近宣称，他们在为机器人开发基于人工智能的世界模型方面取得了重大进展。简单来说，这些模型就像是机器人的虚拟试验场，能够让机器在各种情境中进行测试和改进，完全不需要真刀真枪的实地测试。1X 认为，这正是解决 “机器人难题” 的关键所在 —— 也就是如何在不断变化的环境中，可靠地评估为多种任务而训练的机器人。以一台能折叠 T 恤的机器人为例，它在50天的时间里表现不一，成就感常常转瞬即逝。1X 表示，即便是同样的机器人型号，在环境

标题:人工智能 “教母” 李飞飞创办 World Labs，获2.3亿美元融资!最近，斯坦福大学教授、人工智能的 “教母”李飞飞的新创企 World Labs 成功融资2.3亿美元，投资方包括著名的风投公司 Andreessen Horowitz、NEA 以及 Radical Ventures。这个融资让 World Labs 的估值超过了10亿美元，李飞飞的目标是将这笔资金用于打造前沿的 AI 技术。World Labs 的愿景是开发能够理解和与3D 世界互动的 AI 模型。他们正在研发的 “巨大世界模型”，将为艺术家、设计师、开发者和工程师等专业人士提供支持。Andreessen Horowitz

["谷歌发布基础世界模型Genie，110亿参数，虚拟生成可交互环境。","Genie训练无需动作标签，自行识别视频中不同动作特征和模式。","Genie可学习细颗粒度控制，能模拟多种潜在动作。","Genie生成视频卡通化，可模拟机器人动作与变形物体，较Sora更偏向动图。"]