近日，浙江大学与阿里巴巴达摩院联合发布了一项引人瞩目的研究，旨在通过教学视频创建高质量的多模态教科书。这一创新的研究成果不仅为大规模语言模型（VLMs）的训练提供了新的思路，也可能改变教育资源的利用方式。随着人工智能技术的迅猛发展，VLMs 的预训练语料主要依赖图文对数据与图文交织语料。然而，当前的这些数据多来自网页，文本与图像的关联性较弱，知识密度也相对较低，无法有效支持复杂的视觉推理。为了应对这一挑战，研究团队决定从互联网上海量的教学视频

阿里巴巴达摩院近日推出了一款名为Valley2的多模态大型语言模型，该模型基于电商场景设计，旨在通过可扩展的视觉-语言架构，提升各领域性能并拓展电商与短视频场景的应用边界。Valley2采用了Qwen2.5作为LLM主干，搭配SigLIP-384视觉编码器，结合MLP层和卷积进行高效特征转换。

近日，阿里巴巴达摩院的研究团队发布了一项重要研究成果，名为 “SHMT:自监督层次化妆转移”，该论文已被国际顶级学术会议 NeurIPS2024接收。这项研究展示了一种新的化妆效果转移技术，利用潜在扩散模型（Latent Diffusion Models）来实现化妆图像的精准生成，为化妆应用和图像处理领域注入了新活力。简单的说，SHMT是一项妆容迁移技术，只要一个化妆的参考图，和一张目标角色照片，就可以把妆容效果迁移到该目标脸上。团队在项目中采用了开源的方式，发布了训练代码、测试代码以及预

阿里巴巴达摩院（湖畔实验室）在北京发布了一项重要突破:基于全球气象模型开发的"八观"气象大模型。这一名为"八观"(寓意"八方洞察，观测万象")的创新模型，将天气预报精度提升至前所未有的水平。这款气象大模型最显著的特点是其超高精度。通过整合区域多源数据，模型可实现1公里×1公里×1小时的超精细预测分辨率。在实际应用中，该模型在关键气象指标的预测准确度较传统预报有显著提升:辐照度提高40%、风速提高27%、云量提高24%、气温提高11.8%。在技术层面，达摩院决策智能实验

今日，阿里巴巴达摩院在北京举行了决策智能产品发布会，正式推出了八观气象大模型。这一模型在全球气象模型的基础上，结合了区域多源数据，能够实现时空精度最高达到1公里 ×1公里和1小时。这一创新的气象预测工具大幅提升了对温度、辐照、风速等关键气象指标的预测性能，成功落地于新能源占比高的新型电力系统，显著提高了新能源发电功率和电力负荷的预测准确率，分别达到了96% 和98% 以上。达摩院的决策智能实验室利用多年的技术积累，基于自研的全球气象大模型，构建了

阿里巴巴达摩院最近开源了一款名为CoI-Agent的AI工具，可以帮助科研人员自动生成科研idea。这个工具可以根据输入的论文主题，快速生成相关的科研idea，帮助科研人员节省时间和提高效率。CoI-Agent可以被视为一个AI研究助手，可以帮助科研人员头脑风暴、发散思维，找到新的研究方向和idea。这个工具可以根据输入的主题，快速生成相关的关键词、研究问题、研究方法等，帮助科研人员快速找到研究方向。阿里巴巴达摩院开源CoI-Agent的目的是希望能够帮助科研人员提高研究效率，找到新的研

阿里巴巴达摩院与中国人民大学近日联合开源了一款名为 mPLUG-DocOwl1.5的文档处理模型，该模型主打无需 OCR 识别即可理解文档内容，并在多个视觉文档理解基准测试中取得了领先的性能。结构信息对于理解富文本图像（例如文档、表格和图表）的语义至关重要。 现有的多模态大型语言模型 (MLLM) 虽然具备文本识别能力，但缺乏对富文本文档图像的通用结构理解能力。为了解决这一问题，mPLUG-DocOwl1.5强调结构信息在视觉文档理解中的重要性，并提出了 “统一结构学习” 来提升 MLLM 的性能。

["阿里巴巴集团旗下研究机构达摩院推出了专为东南亚语言量身定制的人工智能大语言模型。","东南亚LLM在越南语、印度尼西亚语、泰语、马来语、高棉语、老挝语、他加禄语和缅甸语数据集上进行了预训练，并且在语言和安全任务方面优于其他开源模型。","针对特定地区的LLM，东南亚被视为重要的增长市场。","SeaLLM在非拉丁语系任务中的表现优于其他LLM，其解释和处理非拉丁语系文本的能力可延长9倍。"]

["阿里达摩院发布业内首个遥感 AI 大模型，可识别农田、农作物、建筑等。模型已在 AI Earth 地球科学云平台开放使用。","遥感 AI 解译通用分割模型（AIE-SEG）统一了图像分割任务。","模型可识别近百种遥感地物分类，准确率可提升 25% 至 30%。"]