搜索全球AI产品动态

人工智能领域迎来一项重大突破。AIbase从社交媒体获悉，字节跳动于近日宣布开源其全新多模态生成模型Liquid，该模型以创新的统一编码方式和单一大语言模型（LLM）架构，实现了视觉理解与生成任务的无缝整合。这一发布不仅展示了字节在多模态AI上的技术雄心，也为全球开发者提供了强大的开源工具。以下是AIbase对Liquid模型的深度解析，探索其技术创新、核心发现及行业影响。Liquid模型亮相:统一多模态生成新范式Liquid是一个基于自回归生成的多模态模型，其核心创新在于将图像和文本

近日，复旦大学与国内AI创新企业阶跃星辰宣布即将推出一款名为OmniSVG的端到端多模态SVG生成模型，这一消息迅速引发了科技与设计领域的广泛关注。据AIbase了解，OmniSVG以其强大的生成能力为核心，支持从简单图标到复杂动漫角色的矢量图生成，为数字艺术创作提供了全新的智能解决方案。这一模型的问世，或将重新定义矢量图生成的技术边界。多模态生成:灵活应对多样需求OmniSVG的最大亮点在于其支持三种生成模式:通过文字描述生成SVG图像、将图片转化为矢量图，以及基于角色参考生成

随着开源 AI 框架的快速发展，开发者们在部署 AI 模型时获得了前所未有的灵活性。Portkey AI Gateway 作为一款开源项目，旨在简化 AI 模型的编排，提供统一的 API 接口，助力开发者轻松整合多种 AI 模型。除了支持大型语言模型（LLMs），Portkey 还涵盖了视觉、音频(文本转语音和语音转文本)、图像生成等多模态生成 AI 模型。图源备注：图片由AI生成，图片授权服务商MidjourneyPortkey AI Gateway 的设计初衷在于解决开发者在集成和管理多个 LLM 提供商时面临的诸多挑战，包括供应商锁定、不同模型性能

近年来，大语言模型（LLM）在人工智能领域取得了显著进展，尤其是在多模态融合方面。华中科技大学、字节跳动与香港大学的联合团队最近提出了一种新型的多模态生成框架 ——Liquid，旨在解决当前主流多模态模型在视觉处理上的局限性。传统的多模态大模型依赖复杂的外部视觉模块，这不仅增加了系统的复杂性，还限制了其扩展性。Liquid 的创新之处在于，它采用 VQGAN 作为图像分词器，摒弃了对外部视觉组件的依赖，通过将图像编码为离散的视觉 token，使得模型可以直接与文本 token 共

根据市场研究机构 Omdia 的最新报告，全球生成式人工智能（AI）市场仍处于起步阶段，预计将在未来五年内实现五倍增长，从2024年的146亿美元跃升至2029年的728亿美元。这个市场的增长主要受到消费类、企业服务、零售、媒体娱乐和医疗保健等领域的推动。图源备注:图片由AI生成，图片授权服务商Midjourney生成式 AI 的应用领域正不断扩展，其中多模态生成式 AI 技术被认为是下一个前沿，因其能够实现多样化的功能，正在推动各行业的应用案例。具体而言，这些技术已经在客户服务、企业知

根据Omdia今天发布的最新预测，全球生成式AI市场在未来五年将迎来爆发式增长，预计从2024年的146亿美元增长到2029年的728亿美元，增长幅度为五倍。预计消费类、企业服务、零售业、媒体娱乐业和医疗保健业将成为这一增长的主要驱动力。图源备注：图片由AI生成，图片授权服务商MidjourneyOmdia指出，多模态生成式AI技术是生成式AI的下一个前沿领域。凭借其日益增强的多样化功能，这一技术正在推动各行业的应用案例，如客户服务、企业知识管理、3D数字分身以及制造业等。多模态生成式AI通

10 月 31 日讯 字节跳动悄然上线了一款名为"炉米Lumi"的AI模型分享社区平台。据悉，该平台将提供模型上传分享、Workflow搭建以及LoRA训练等功能，目前仍处于内测阶段，仅向白名单用户开放。

北京爱诗科技有限公司宣布，其最新版本的视频生成大模型PixVerse V3已全球同步公开上线。该版本在底层模型能力上实现了显著提升，提供了包括创意模板、口型匹配、故事续写和风格转换在内的多模态生成能力和丰富的AI玩法。

多模态生成模型正引领人工智能新潮流，专注于融合视觉与文本数据，以创造多功能AI系统，执行从图像生成到跨数据类型理解与推理的多种任务。其中，关键挑战是提升自回归（AR）模型能力，使其能根据文本描述生成高细节图像。尽管扩散模型在生成高质量图像方面表现出色，AR模型在图像质量、分辨率灵活性及多任务处理能力上相对滞后。上海AI实验室和香港中文大学的研究人员推出Lumina-mGPT，一种基于解码器-only的变换器架构，采用多模态生成预训练方法，旨在克服AR模型限制，实现与扩散模型同等水平的逼真图像生成，同时保持简便性和可扩展性。Lumina-mGPT采用详尽的灵活渐进的监督微调策略，增强图像生成能力，支持高分辨率图像生成（1024×1024像素），细节丰富且与文本提示高度一致。该模型在图像质量、视觉一致性及多种任务支持方面超越前代模型，仅需较小数据集即可实现卓越性能，预示未来AI系统将更加复杂与多才多艺。

["加州大学圣克鲁斯分校研发 MiniGPT-5 模型，实现了文本和图像的有效对齐。","MiniGPT-5 采用了多模态编码器和 Generative Vokens 技术，生成连贯、高质量的文本和图像。","模型在多个数据集上的测试中表现优于对比基线，展现出强大的适应能力。"]