在2024年12月19日的发布会上，智源研究院与腾讯宣布推出LongBench v2，这是一个专为评估大语言模型（LLMs）在真实世界长文本多任务中的深度理解与推理能力而设计的基准测试。该平台旨在推动长文本模型在理解和推理方面的进步，回应了当前长文本大语言模型在应用中的挑战。

智源研究院与腾讯集团于2024年12月18日签署了战略合作协议，双方将在大模型研发、人工智能技术前沿探索及开源生态建设等多个领域进行深入合作。根据合作协议，智源研究院与腾讯将利用各自的优势，推动大模型技术与产业场景的深度融合，并探索在多元算力环境下的大模型训练与推理优化技术解决方案。双方还将致力于构建一个开放创新的软硬件生态体系，以促进技术的发展和应用。

北京智源人工智能研究院（BAAI）近日宣布推出一款创新的3D生成模型See3D，该模型能够利用大规模无标注的互联网视频进行学习。这一技术突破标志着向“See Video， Get3D”的理念迈进了重要一步。See3D模型不依赖于传统的相机参数，而是采用视觉条件技术，仅通过视频中的视觉线索生成相机方向可控且几何一致的多视角图像。这种方法避免了昂贵的3D或相机标注的需求，能够高效地从互联网视频中学习3D先验。

心脏，这个生命的引擎，其运作的奥秘一直吸引着无数科学家的目光。心脏电生理的异常会导致心律失常等严重健康问题，深入理解它对心脏病的诊断和治疗至关重要。然而，传统研究方法受限于伦理和实验条件，难以取得突破。近年来，科学家们将目光投向了计算机仿真，试图构建“数字孪生心脏”，在虚拟世界中重现心脏的跳动。但虚拟心脏仿真对计算资源要求极高，模拟几毫秒的心脏活动就需要进行数十亿次计算，重现1秒钟的心脏电活动甚至需要数小时甚至更长时间，这极大地限制

北京智源人工智能研究院（BAAI）近日宣布推出了一款全新的全能视觉生成模型OmniGen，标志着图像生成领域的一项重大突破。OmniGen模型以其统一性、简单性和跨任务知识迁移能力而著称，能够在单一框架内处理多种图像生成任务，包括文生图、图像编辑、主题驱动生成和视觉条件生成等。此外，OmniGen还能够处理一些经典的计算机视觉任务，如图像去噪和边缘检测，通过将这些任务转换为图像生成任务来实现。

​北京智源人工智能研究院联合上海交通大学、中国人民大学、北京大学和北京邮电大学等高校推出了一款名为Video-XL的超长视频理解大模型。这款模型是多模态大模型核心能力的重要展示，也是向通用人工智能（AGI）迈进的关键步骤。与现有多模态大模型相比，Video-XL在处理超过10分钟的长视频时，展现了更优的性能和效率。

智源研究院正式发布了他们的新一代多模态世界模型 Emu3，该模型的最大亮点在于，它仅依靠下一个 token 的预测能力，就能在文本、图像和视频这三种不同模态中进行理解和生成。在图像生成方面，Emu3能够根据视觉 token 预测生成高质量的图像。这意味着用户可以期待灵活的分辨率和多样的风格。而在视频生成方面，Emu3则是以一种全新的方式工作，不同于其他模型通过噪声生成视频，Emu3通过顺序预测直接生成视频。这种技术的进步使得视频生成变得更加流畅自然。在图像生成、视频生成和

来自智源研究院的Emu3团队发布了一套全新的多模态模型Emu3，该模型仅基于下一个token预测进行训练，颠覆了传统的扩散模型和组合模型架构，在生成和感知任务上均取得了最先进的性能。一直以来，下一个token预测被认为是通向人工智能通用智能（AGI）的希望之路，但在多模态任务上却表现不佳。目前，多模态领域仍然由扩散模型(如Stable Diffusion)和组合模型(如CLIP与LLM的结合)主导。Emu3团队将图像、文本和视频都标记化到离散空间中，并在混合的多模态序列上从头开始训练单个Transformer模型

​北京智源人工智能研究院宣布推出原生多模态世界模型Emu3。这一模型基于下一个token预测技术，无需依赖扩散模型或组合方法，就能够完成文本、图像、视频三种模态数据的理解和生成。Emu3在图像生成、视频生成、视觉语言理解等任务中超过了现有的知名开源模型，如SDXL、LLaVA、OpenSora等，展现了卓越的性能。

北京智源人工智能研究院（BAAI）最近推出了全球首个中文大模型辩论平台FlagEval Debate。这一新平台旨在通过模型辩论这一竞争机制，为大语言模型的能力评估提供新的度量方式。它是智源模型对战评测服务FlagEval大模型角斗场的扩展，目标是甄别大语言模型之间的能力差异。

在2024北京文化论坛上，北京智源人工智能研究院（BAAI）宣布正式发布新一代中文互联网语料库CCI3.0(Chinese Corpora Internet)，进一步推动数据共建共享。CCI3.0包含1000GB的数据集及498GB的高质量子集CCI3.0-HQ，是继2023年11月首次开源CCI1.0和2024年4月发布CCI2.0之后的又一次重要更新。

北京百度网讯科技有限公司与北京智源人工智能研究院今日宣布正式签署战略合作协议，双方将在大模型等领域展开深度合作，共同构建人工智能产研协同生态。百度自2010年起开始全面布局人工智能，是全球为数不多的进行全栈布局的人工智能公司，从昆仑芯、飞桨深度学习平台、文心大模型到应用

智源研究院推出了一个名为Infinity-Instruct的千万级指令微调数据集，旨在提升语言模型在对话等方面的性能。近日，Infinity Instruct完成了新一轮迭代，包括Infinity-Instruct-7M基础指令数据集和Infinity-Instruct-Gen对话指令数据集。

北京智源人工智能研究院与中国人民大学高瓴人工智能学院联合发布了一款创新的人工智能模型框架——MemoRAG。该框架基于长期记忆，旨在推动检索增强生成（RAG）技术的发展，使其能够处理更复杂的任务，而不仅限于简单的问答。

2024年9月4日，北京智源人工智能研究院（BAAI）宣布推出全球首个包含文生视频的模型对战评测服务——FlagEval大模型角斗场。这一服务面向用户开放，覆盖了国内外约40款大模型，并支持语言问答、多模态图文理解、文生图、文生视频等四大任务的自定义在线或离线评测。F

智源研究院最近发布了三款新的向量模型，这些模型在向量检索任务中表现出色，并刷新了多个评测基准的最佳水平。这三款模型分别是:BGE-EN-ICL:一个英文向量模型，通过引入任务相关的查询-文档示例作为少量示例，增强了模型的语义表达能力。

北京智源人工智能研究院与中国电信人工智能研究院合作，推出Tele-FLM系列大模型升级版，包括52B指令模型FLM-2-52B-Instruct与万亿参数模型Tele-FLM-1T。FLM-2-52B-Instruct通过指令微调，专注于提升中文对话能力，达到GPT-4水平的90%，基于Tele-FLM-52B基座模型，使用特定数据集和参数优化。Tele-FLM-1T作为全球首个万亿参数稠密模型，采用生长式预训练策略，优化结构与参数设置，包括加入特定组件与改进预训练策略，显著提升模型效率与效果。所有模型与技术报告均已开源，提供给学术界与产业界进行研究与应用。

近期，多模态大模型的研究和应用取得了显著进展。国外公司如OpenAI、Google、Microsoft等推出了一系列先进的模型，国内也有智谱AI、阶跃星辰等机构在该领域取得了突破。这些模型通常依赖视觉编码器来提取视觉特征并与大语言模型结合，但存在训练分离导致的视觉归纳偏置问题，限制了多模态大模型的部署效率和性能。

昆仑万维与北京智源人工智能研究院、新加坡南洋理工大学、北京大学等机构联合发布了一款名为Cradle的通用计算机控制框架。这一AI框架使智能体（AI Agent）能够无需特别训练，直接像人一样控制键盘和鼠标，与任意开闭源软件进行交互，不依赖任何内部API。Cradle是首个能够同时玩转多种商业游戏和操作各类软件应用的AI框架，其论文、项目和代码均已开源。

["智源研究院发布了名为 TACO 的代码生成训练数据集，旨在为代码生成模型提供更具挑战性的训练数据和评测基准。","TACO 在数据规模、质量和评测方案上具有优势，包括更大规模的训练集和测试集，多样化的解题答案，以及细粒度的标签。","实验结果显示，当前流行的代码生成模型在 TACO 评测中与 GPT-4 存在显著差异，说明该领域仍有提升空间。","TACO 不仅是一个挑战性的测试方法，还可用作改进模型性能的训练数据，促进代码生成领域的发展。"]