随着人工智能的快速发展，视觉与语言能力的整合引发了视觉语言模型（VLMs）的突破性进展。这些模型旨在同时处理和理解视觉与文本数据，广泛应用于图像描述、视觉问答、光学字符识别以及多模态内容分析等场景。VLMs 在开发自主系统、增强人机交互以及高效文档处理工具方面发挥了重要作用，成功地弥合了这两种数据模态之间的差距。然而，在高分辨率视觉数据和多样化文本输入的处理上，仍然存在许多挑战。目前的研究已经部分解决了这些限制，但大多数模型采用的静态视觉编码

​阶跃星辰近日宣布推出Step系列模型矩阵的新成员——Step-1o端到端语音大模型，据称这是国内首个千亿参数端到端语音大模型。这一新模型的发布标志着语音技术领域的一大进步，它通过端到端的语音方案，能够实现语音理解和生成的一体化，从而提升模型智商和情商的上限，并实现超自然、高质量的交流体验。

在人工智能快速发展的今天，京东云正在用实际行动诠释技术创新的力量。近日，京东云发布了言犀智能营销平台，推出十大AI营销产品，为超80万商家提供智能化解决方案，展现了AI技术在产业落地中的巨大潜力。这套智能营销解决方案涵盖了从数字人到智能导购、智能混剪等多个场景，其中最引人注目的是其卓越的实际应用效果。AIGC内容使用率高达80%，平均转化率提升30%，这些数据足以证明AI技术已经不再是纸上谈兵，而是实实在在的生产力工具。京东云的创新之路并非一蹴而就。早在

近年来，机器学习模型在视觉和语言任务方面的应用需求日益增长，但大多数模型都需要庞大的计算资源，无法在个人设备上高效运行。尤其是像笔记本电脑、消费级 GPU 和移动设备等小型设备，在处理视觉语言任务时面临巨大的挑战。以 Qwen2-VL 为例，虽然其性能卓越，但对硬件的要求较高，限制了其在实时应用中的可用性。因此，开发出轻量化模型以便于在较低资源下运行，成为了一项重要需求。Hugging Face 近期发布了 SmolVLM，这是一款专门为设备端推理设计的2B 参数视觉语言模型。SmolV

在人工智能的赛道上，中国正以自主创新的姿态稳步前行。11月26日，全球首个千亿参数多模态大模型"紫东太初"3.0在武汉正式亮相，为国产AI技术再添浓墨重彩的一笔。这不仅仅是一个技术迭代，更是中国AI生态系统的重要里程碑。由中国科学院自动化研究所、华为公司和武汉东湖高新区三方联合打造的"紫东太初"，已经成功构建了全球首个覆盖图、文、音三模态的预训练模型。图源备注：图片由AI生成，图片授权服务商Midjourney紫东太初3.0最大的突破在于实现了多模态统一原生编码，这意味

在今日举行的2024年世界互联网大会乌镇峰会上，荣耀 CEO 赵明发表了关于手机未来发展的展望。他表示，预计到2027年，手机将能够搭载具有千亿参数的大型 AI 模型。这一进展将使得手机能够学习、理解并预测用户的行为和意图，进而为用户提供更加个性化的生活与工作安排。图源备注：图片由AI生成，图片授权服务商Midjourney目前市场上已有多款手机搭载了规模在几十亿至百亿参数之间的 AI 模型。而荣耀公司今年10月刚发布的 MagicOS9.0操作系统，标志着智能手机领域的一次重大升级。赵明指

最近，西雅图的一家初创公司 Moondream 推出了名为 moondream2的紧凑型视觉语言模型。尽管体积小巧，但该模型在各项基准测试中表现出色，备受关注。作为一个开源模型，moondream2有望在智能手机上实现本地图像识别功能。moondream2于三月正式发布，该模型能够处理文本和图像输入，具备回答问题、文本提取（OCR）、物体计数和物品分类等能力。自发布以来，Moondream 团队持续更新该模型，不断提升其基准性能。7月份的版本在 OCR 和文档理解方面显示出显著进步，尤其是在对历史经济数据的分析

近日，来自多家中国科研机构的研究团队重磅发布了名为Infinity-MM的超大规模多模态数据集，并基于该数据集训练出了一个性能卓越的AI模型Aquila-VL-2B。这一突破为多模态AI发展注入了新动力。Infinity-MM数据集规模惊人，共包含四大类数据:1000万条图像描述、2440万条通用视觉指令数据、600万条精选高质量指令数据，以及300万条由GPT-4等AI模型生成的数据。研究团队采用开源AI模型RAM++进行图像分析和信息提取，并通过独特的六大类分类系统确保生成数据的质量和多样性。图源备注：图片由AI生成

英伟达研究团队近日在机器人控制领域取得重大突破。他们开发的神经网络系统HOVER，以极其精简的参数量实现了对人形机器人的高效控制，其性能甚至超越了专门设计的控制系统。这个仅需150万参数的HOVER系统，能够处理复杂的机器人动作控制。相比之下，常见的大语言模型往往需要数千亿参数。这一惊人的参数效率彰显了系统设计的精妙。HOVER的训练在英伟达的Isaac模拟环境中进行，该环境能将机器人动作加速1万倍。英伟达研究员Jim Fan透露，这意味着在虚拟空间中一年的训练量，仅需要

Google在东京举办的Gemma开发者日上发布重磅消息:全新日语版Gemma模型正式亮相。这款小巧精悍的AI模型以仅20亿参数的规模，却能同时驾驭日语和英语，展现出与GPT-3.5相媲美的性能。这一技术突破尤为令人瞩目。在AI领域，小型模型在学习新语言时常常面临"灾难性遗忘"的挑战——即在获取新知识的过程中丢失先前掌握的能力。而日语版Gemma却成功克服了这一难题，实现了双语能力的完美平衡。为推动全球开发者社区的参与，Google不仅通过Kaggle和Hugging Face平台开放了模型权重，还提供了完整的

近日，一款名为ComfyUI-Detail-Daemon的革命性插件正在AI绘画圈引起轰动。这款由Jonseed开发的工具，巧妙地将sd-webui-Detail-Daemon移植到ComfyUI平台，为创作者们带来了前所未有的细节优化体验。这款插件最引人注目的特点是其强大的细节增强能力。通过精确调控sigma参数，不仅能显著提升图像细节，还能智能去除多余的散景和背景模糊，特别是在处理Flux模型作品时表现出色。更值得一提的是，它还完美兼容SDXL和SD1.5等主流模型，显示出极强的适应性。该插件配备了四个功能各异的核心节点。其中

最近在东京举办的 Gemma 开发者日上，谷歌正式推出了新的日语版本 Gemma AI 模型。这款模型的表现可以与 GPT-3.5媲美，但它的参数量只有仅仅20亿，非常小巧，适合在移动设备上运行。这次发布的 Gemma 模型，在日语处理上表现出色，同时也保持了其在英语上的能力。对于小型模型来说，这一点特别重要，因为在进行新语言的微调时，它们可能会面临 “灾难性遗忘” 的问题，即新学到的知识会覆盖之前学到的信息。但是 Gemma 成功克服了这个难题，展现了强大的语言处理能力。更值得一提的是

AI 初创公司 Moondream 正式宣布完成450万美元的种子融资，并提出了一个颇具颠覆性的观点:在 AI 模型的世界里，小型模型可能更具优势。该公司得到了 Felicis Ventures、微软的 M12GitHub 基金和 Ascend 的支持，推出了一款仅有16亿参数的视觉语言模型，却能够与四倍于其规模的模型在性能上相媲美。Moondream 的开源模型已经引起了广泛关注，下载量超过200万次，GitHub 上的星标也达到了5100个。公司的首席执行官 Jay Allen 表示:“这个模型特别之处在于，它不仅小巧而且准确度高，运行起来也非常顺畅，

​在10月23日的荣耀MagicOS9.0发布会及开发者大会上，荣耀CEO赵明宣布了最新操作系统MagicOS9.0的正式推出。赵明在演讲中回顾了荣耀MagicOS的演进历程，自荣耀MagicOS问世以来，就以AI OS为定位，不断推动技术创新。

昨日晚间，Stability AI发布了其最强大的模型——Stable Diffusion3.5，这不仅是一个单一的模型，而是一个包含三个版本的全家桶，旨在满足从科研人员到业务爱好者、初创公司和企业的多样化需求。这三个版本分别是Stable Diffusion3.5Large、Stable Diffusion3.5Large Turbo和即将于10月29日发布的Stable Diffusion3.5Medium。

最近，科研团队联合推出了一款名为 Meissonic 的开源 AI 图像生成模型。惊喜的是，这款模型仅使用了十亿个参数，却能生成高质量的图像。这种紧凑的设计让 Meissonic 有潜力在移动设备上实现本地化的文本转图像应用。这项技术的背后，研发团队包括阿里巴巴、Skywork AI 以及多所大学的研究者。他们采用了一种独特的变换器架构和新颖的训练方法，使得 Meissonic 能够在普通游戏 PC 上运行，甚至未来可能在手机上使用。Meissonic 的训练方法采用了一种被称为 “遮蔽图像建模” 的技术，简单来说

近日，来自上海交通大学和哈佛大学的研究团队推出了一种全新的模型微调方法 ——LoRA-Dash。这个新方法声称比现有的 LoRA 方法更加高效，特别是在特定任务的微调中，它可以在参数量减少8到16倍的情况下，依然达到相同的效果。这无疑是对那些需要大量计算资源的微调任务的一次重大突破。在大规模语言模型快速发展的背景下，微调特定任务的需求日益增长。然而，微调往往需要消耗大量的计算资源。为了解决这一问题，研究团队引入了参数高效微调（PEFT）策略，LoRA 就是一个典型的例

​深圳元象信息科技有限公司近日宣布，公司已成功发布中国最大的Mixture of Experts（MoE）开源大模型——XVERSE-MoE-A36B。这款模型的发布标志着中国在AI领域的一大进步，将国产开源技术提升至国际领先水平。

Nvidia研究团队利用模型剪枝和蒸馏技术，成功推出Llama-3.1-Minitron4B，这是Llama3模型的压缩版本，旨在实现设备上的人工智能。该模型通过深度剪枝和宽度剪枝技术，减少了原始8B模型的参数量，同时保持了与更大模型相近的性能。在训练数据量大幅减少（40倍）的情况下，该模型在MMLU基准测试中的性能提升了16%。该成果通过NVIDIA的NeMo-Aligner进行微调，适用于指令跟随、角色扮演、检索增强生成（RAG）和函数调用等任务。宽度剪枝版本已发布于Hugging Face平台，支持商业使用，为用户和开发者提供高效、性能卓越的模型选择。

LG AI 研究部门推出韩国首个开源 AI 模型 Exaone3.0，拥有78亿个参数，旨在加速 AI 研究并构建强大的 AI 生态系统。此模型在韩语和英语任务中表现出色，通过开源策略，LG 展示了技术实力，可能为云计算和 AI 服务开辟新的收入来源。面对全球 AI 竞争，LG 与阿里巴巴等公司相似，通过开源 AI 模型推动云业务增长。Exaone3.0在性能上表现出色，包括减少推理时间、降低内存使用和运营成本，经过专业数据训练，计划进一步扩展数据量。此模型的成功有望改变 AI 市场格局，为 LG 带来多元化的 AI 和云服务收入，并促进全球 AI 技术普及。