北京智源人工智能研究院（BAAI）近日宣布推出了一款全新的全能视觉生成模型OmniGen，标志着图像生成领域的一项重大突破。OmniGen模型以其统一性、简单性和跨任务知识迁移能力而著称，能够在单一框架内处理多种图像生成任务，包括文生图、图像编辑、主题驱动生成和视觉条件生成等。此外，OmniGen还能够处理一些经典的计算机视觉任务，如图像去噪和边缘检测，通过将这些任务转换为图像生成任务来实现。

​北京智源人工智能研究院联合上海交通大学、中国人民大学、北京大学和北京邮电大学等高校推出了一款名为Video-XL的超长视频理解大模型。这款模型是多模态大模型核心能力的重要展示，也是向通用人工智能（AGI）迈进的关键步骤。与现有多模态大模型相比，Video-XL在处理超过10分钟的长视频时，展现了更优的性能和效率。

智源研究院正式发布了他们的新一代多模态世界模型 Emu3，该模型的最大亮点在于，它仅依靠下一个 token 的预测能力，就能在文本、图像和视频这三种不同模态中进行理解和生成。在图像生成方面，Emu3能够根据视觉 token 预测生成高质量的图像。这意味着用户可以期待灵活的分辨率和多样的风格。而在视频生成方面，Emu3则是以一种全新的方式工作，不同于其他模型通过噪声生成视频，Emu3通过顺序预测直接生成视频。这种技术的进步使得视频生成变得更加流畅自然。在图像生成、视频生成和

来自智源研究院的Emu3团队发布了一套全新的多模态模型Emu3，该模型仅基于下一个token预测进行训练，颠覆了传统的扩散模型和组合模型架构，在生成和感知任务上均取得了最先进的性能。一直以来，下一个token预测被认为是通向人工智能通用智能（AGI）的希望之路，但在多模态任务上却表现不佳。目前，多模态领域仍然由扩散模型(如Stable Diffusion)和组合模型(如CLIP与LLM的结合)主导。Emu3团队将图像、文本和视频都标记化到离散空间中，并在混合的多模态序列上从头开始训练单个Transformer模型

​北京智源人工智能研究院宣布推出原生多模态世界模型Emu3。这一模型基于下一个token预测技术，无需依赖扩散模型或组合方法，就能够完成文本、图像、视频三种模态数据的理解和生成。Emu3在图像生成、视频生成、视觉语言理解等任务中超过了现有的知名开源模型，如SDXL、LLaVA、OpenSora等，展现了卓越的性能。

北京智源人工智能研究院（BAAI）最近推出了全球首个中文大模型辩论平台FlagEval Debate。这一新平台旨在通过模型辩论这一竞争机制，为大语言模型的能力评估提供新的度量方式。它是智源模型对战评测服务FlagEval大模型角斗场的扩展，目标是甄别大语言模型之间的能力差异。

在2024北京文化论坛上，北京智源人工智能研究院（BAAI）宣布正式发布新一代中文互联网语料库CCI3.0(Chinese Corpora Internet)，进一步推动数据共建共享。CCI3.0包含1000GB的数据集及498GB的高质量子集CCI3.0-HQ，是继2023年11月首次开源CCI1.0和2024年4月发布CCI2.0之后的又一次重要更新。

北京百度网讯科技有限公司与北京智源人工智能研究院今日宣布正式签署战略合作协议，双方将在大模型等领域展开深度合作，共同构建人工智能产研协同生态。百度自2010年起开始全面布局人工智能，是全球为数不多的进行全栈布局的人工智能公司，从昆仑芯、飞桨深度学习平台、文心大模型到应用

智源研究院推出了一个名为Infinity-Instruct的千万级指令微调数据集，旨在提升语言模型在对话等方面的性能。近日，Infinity Instruct完成了新一轮迭代，包括Infinity-Instruct-7M基础指令数据集和Infinity-Instruct-Gen对话指令数据集。

北京智源人工智能研究院与中国人民大学高瓴人工智能学院联合发布了一款创新的人工智能模型框架——MemoRAG。该框架基于长期记忆，旨在推动检索增强生成（RAG）技术的发展，使其能够处理更复杂的任务，而不仅限于简单的问答。

2024年9月4日，北京智源人工智能研究院（BAAI）宣布推出全球首个包含文生视频的模型对战评测服务——FlagEval大模型角斗场。这一服务面向用户开放，覆盖了国内外约40款大模型，并支持语言问答、多模态图文理解、文生图、文生视频等四大任务的自定义在线或离线评测。F

智源研究院最近发布了三款新的向量模型，这些模型在向量检索任务中表现出色，并刷新了多个评测基准的最佳水平。这三款模型分别是:BGE-EN-ICL:一个英文向量模型，通过引入任务相关的查询-文档示例作为少量示例，增强了模型的语义表达能力。

北京智源人工智能研究院与中国电信人工智能研究院合作，推出Tele-FLM系列大模型升级版，包括52B指令模型FLM-2-52B-Instruct与万亿参数模型Tele-FLM-1T。FLM-2-52B-Instruct通过指令微调，专注于提升中文对话能力，达到GPT-4水平的90%，基于Tele-FLM-52B基座模型，使用特定数据集和参数优化。Tele-FLM-1T作为全球首个万亿参数稠密模型，采用生长式预训练策略，优化结构与参数设置，包括加入特定组件与改进预训练策略，显著提升模型效率与效果。所有模型与技术报告均已开源，提供给学术界与产业界进行研究与应用。

近期，多模态大模型的研究和应用取得了显著进展。国外公司如OpenAI、Google、Microsoft等推出了一系列先进的模型，国内也有智谱AI、阶跃星辰等机构在该领域取得了突破。这些模型通常依赖视觉编码器来提取视觉特征并与大语言模型结合，但存在训练分离导致的视觉归纳偏置问题，限制了多模态大模型的部署效率和性能。

昆仑万维与北京智源人工智能研究院、新加坡南洋理工大学、北京大学等机构联合发布了一款名为Cradle的通用计算机控制框架。这一AI框架使智能体（AI Agent）能够无需特别训练，直接像人一样控制键盘和鼠标，与任意开闭源软件进行交互，不依赖任何内部API。Cradle是首个能够同时玩转多种商业游戏和操作各类软件应用的AI框架，其论文、项目和代码均已开源。

["智源研究院发布了名为 TACO 的代码生成训练数据集，旨在为代码生成模型提供更具挑战性的训练数据和评测基准。","TACO 在数据规模、质量和评测方案上具有优势，包括更大规模的训练集和测试集，多样化的解题答案，以及细粒度的标签。","实验结果显示，当前流行的代码生成模型在 TACO 评测中与 GPT-4 存在显著差异，说明该领域仍有提升空间。","TACO 不仅是一个挑战性的测试方法，还可用作改进模型性能的训练数据，促进代码生成领域的发展。"]

["智源研究院发布新一代多模态基础模型 Emu2，推动多模态上下文学习能力的突破。","Emu2 超越了 Flamingo-80B 和 IDEFICS-80B，在少样本多模态理解任务上表现出色。","Emu2 取得了多个少样本理解、视觉问答、图像生成任务上的最优性能。","Emu2-Chat 实现精准理解图文指令，Emu2-Gen 实现灵活、可控、高质量的图像和视频生成。","Emu2 采用大规模自回归生成式多模态预训练，模型规模化到 37B 参数。"]

["智源研究院联合拓尔思、中科闻歌共建了 “中文互联网语料库”（CCI）","该语料库经过严格的筛选和清洗，数据规模为 104GB，时间跨度为 2001 年至 2023 年","智源研究院将继续扩充数据来源、完善数据处理流程，提供更多高质量、可信的数据资源","智源研究院还开放了其他高质量中文数据集，如 WUDAO copora、COIG 和 MTP","该举措旨在为大数据和人工智能行业提供安全、可靠的语料资源"]

["智源研究院开源了 JudgeLM 裁判模型，可高效评测各类大模型并输出评分","JudgeLM 与 GPT-4 相比，成本仅为 1/120，评判结果一致性达到 90% 以上","JudgeLM 可应用于纯文本、多模态等多种评判场景，并输出评分和阐述理由","JudgeLM 与参考答案的一致性最高超过了 90%，接近人类表现","智源研究院开源了训练和验证样本的数据集，用于深入研究大语言模型裁判"]

["智源研究院最近开源了 10 亿参数的三维视觉通用模型 Uni3D。","该模型能够处理点云数据，取得了主流三维视觉任务的突破。","Uni3D 采用统一的 Transformer 架构，并引入多模态对齐的训练方法。","该模型在各类三维视觉任务上取得了 state-of-the-art 的结果。","智源研究院表示，Uni3D 的开源发布为未来三维计算机视觉的研究和应用奠定了基础。"]