近日，魔乐社区（Modelers）正式上线了由阶跃星辰研发的 Step-Video 和 Step-Audio 两款开源多模态大模型。这两款模型分别用于视频生成和语音交互，旨在为开发者和企业用户提供更强大的 AI 工具。Step-Video 模型的全名为 Step-Video-T2V，这是一款参数量高达300亿的全球最大开源视频生成模型。该模型能够直接生成204帧、540P 分辨率的高质量视频，并在指令遵循、运动平滑性、物理合理性以及美感等方面，表现超越了市场上现有的顶尖开源视频模型。另一方面，Step-Audio 则是业内首款能够生成多种情

Stability AI因其Stable Diffusion文本生成图像模型而闻名。最近，该公司与全球半导体巨头 Arm 展开合作，致力于将生成音频人工智能能力引入移动设备。这一合作使得Stable Audio Open模型能够完全在 Arm CPU 上运行，用户可以在设备上快速生成音效、音频样本和制作元素，且无需互联网连接。Stability AI表示，随着生成性人工智能在企业和专业创作者中的应用越来越广泛，确保我们的模型和工作流程在各个创造领域都能便捷使用显得尤为重要。这不仅能够提升创作效率，也有助于将这些技术无缝整合

全球开发者目光再次聚焦中国!在备受瞩目的全球开发者大会（GDC）上，阿里云魔搭社区重磅宣布，首发上线阶跃星辰最新开源的两款多模态模型，包括 全球参数量最大的开源视频生成模型 Step-Video-T2V，以及 业界首款产品级开源语音交互模型 Step-Audio。 这一消息瞬间引爆全球AI开源社区，再次彰显中国在人工智能领域的强劲创新实力。作为中国最大的AI模型社区，阿里云魔搭社区此次发布的这两款重磅模型，无疑是近期全球多模态领域最受瞩目的开源成果。 Step-Video-T2V 以其巨大的参数规模

Nexa AI近日推出了其全新的OmniAudio-2.6B音频语言模型，旨在满足边缘设备的高效部署需求。与传统的将自动语音识别（ASR）和语言模型分开的架构不同，OmniAudio-2.6B将Gemma-2-2b、Whisper Turbo以及定制的投影仪集成到一个统一框架中，这一设计消除了传统系统中各个组件链接所带来的低效率和延迟，特别适用于计算资源有限的设备。主要亮点:处理速度: OmniAudio-2.6B在性能上表现出色。在2024Mac Mini M4Pro上，使用Nexa SDK并采用FP16GGUF格式时，模型可实现每秒35.23个令牌的处理速度，而在Q4_K_M GGUF格式下，

​阶跃星辰近日宣布推出Step系列模型矩阵的新成员——Step-1o端到端语音大模型，据称这是国内首个千亿参数端到端语音大模型。这一新模型的发布标志着语音技术领域的一大进步，它通过端到端的语音方案，能够实现语音理解和生成的一体化，从而提升模型智商和情商的上限，并实现超自然、高质量的交流体验。

近日，来自伊利诺伊大学厄巴纳 - 香槟分校、Sony AI 及 Sony 集团公司的研究团队推出了一项名为 MMAudio 的新技术，该技术旨在通过多模态联合训练，实现高质量的视频到音频合成。MMAudio 的核心创新在于能够利用视频和文本输入生成同步的音频，从而拓展了音频生成的应用场景，支持输入视频或文本，生成符合视频内容的音效。MMAudio 的设计使其能够在各种视听和音频文本数据集上进行训练。这种多模态联合训练的方式，不仅提高了合成音频的质量，还确保了生成的音频与视频帧之间的同步

OpenAI再次引领人工智能技术潮流，推出了全新的gpt-4o-audio-preview模型。这款模型不仅在语音生成和分析方面展现出惊人的能力，还为人机交互开辟了新的可能性。让我们深入了解这款创新模型的特性及其潜在应用。gpt-4o-audio-preview的核心功能包括三大方面:首先，它能够根据文本生成自然流畅的语音响应，为语音助手和虚拟客服等应用提供了强大支持。其次，该模型具备分析音频输入的情感、语调和音调的能力，这一特性在情感计算和用户体验分析领域具有广阔应用前景。最后，它支持语音

在信息爆炸的时代，如何高效获取知识成为众多学习者和专业人士面临的挑战。近日，一款名为PDF2Audio的开源工具应运而生，它巧妙地将人工智能技术与传统阅读方式相结合，为用户提供了一种全新的信息获取方式。PDF2Audio的核心功能是将PDF文档转换为音频内容。这款工具借助OpenAI的GPT模型进行文本生成和语音合成，能够将各类PDF文件转化为播客、讲座或摘要等多种音频形式。用户只需通过简单的操作，就能将枯燥的文字资料变成生动有趣的有声内容。这款工具的设计充分考虑了用户的多

近日，约翰霍普金斯大学与腾讯 AI 实验室联合推出了一款名为 EzAudio 的新型文本到音频生成模型。这项技术承诺以空前的效率和高品质文本转换为声音，标志着人工智能和音频技术的重大飞跃。EzAudio 的工作原理是利用音频波形的潜在空间，而不是传统的声谱图，这一创新让它能够在高时间分辨率下工作，且无需额外的神经声码器。EzAudio 的架构被称为 EzAudio-DiT（扩散变换器），采用了多项技术创新来提高性能和效率。其中包括一种新的自适应层归一化技术 AdaLN-SOLA、长跳连接，以及先进的

前言去年，Google 推出了 NotebookLM，这是一款结合了大语言模型 (LLM) 与用户笔记的实验性 AI 笔记本，通过提供摘要、回答问题等方式帮助用户更好地理解某个主题。现在，它甚至可以与你讨论笔记内容。日前 Google 在 NotebookLM 中推出了「Audio Overview（音频概览）」功能，允许用户通过引人入胜的 AI 驱动对话讨论他们的笔记内容。对话由两位 AI 生成的主持人进行，他们利用你的内容背景来解释复杂的主题，做类比，并与你展开持续的对话。在现今的人工智能时代，NotebookLM 以其独特的功能和先

阿里巴巴近期发布了全新开源语音模型Qwen2-Audio，这款模型在语音识别、翻译和音频分析方面表现出色，实现了显著性能提升。Qwen2-Audio提供基础版和指令微调版，支持多种语言，如中文、粤语、法语、英语和日语，为情感分析和翻译应用提供了便利。相较于Qwen-Audio，Qwen2-Audio在架构和性能上进行了全面优化，预训练阶段采用更自然的语言提示，提升理解和泛化能力。指令跟随能力增强，能更准确理解用户指令。模型引入语音聊天和音频分析模式，输出符合人类期望。在性能测试中，Qwen2-Audio超越OpenAI的Whisper-large-v3，在语音识别和翻译准确性上表现出强劲竞争力。

阿里巴巴最新推出的CosyVoice语音合成模型和SenseVoice语音识别模型，共同构成了FunAudioLLM框架，旨在提升人机交互体验。CosyVoice以其逼真的声音生成能力，能模仿不同性别、年龄和个性的声音，添加情感和风格，甚至模拟自然特征如笑声、咳嗽和呼吸。SenseVoice则专注于高精度的多语言语音识别、情感识别和音频事件检测，支持超过50种语言，反应速度快。FunAudioLLM的语音到语音翻译功能实现了快速而准确的跨语言交流，同时，它在情感交互方面的表现也极为出色，能根据用户情绪做出恰当的回应。对于文学爱好者，FunAudioLLM的有声书制作技术能提供富有表现力的朗读体验。这些技术突破预示着人机交互的未来将更加自然、人性化，为教育、娱乐、客户服务等领域带来革命性变化。

Stability AI近推出开源音频生成模型Stable Audio Open，能生成最长47秒，采样率44.1kHz，采用开放权重设计，允许用户查阅、修改和扩展，推动科研及开发者创新。使用Creative Commons许可音频训练确保数据合法和道德性。模型技术架构先进，支持高质量立体声生成，多样性和高保真度得到验证，与顶尖模型表现相当。这一工具对研究者、艺术家和开发者极具价值，标志着音频生成领域的重要进展。

阿里云推出“Qwen-Audio”，一款大型音频语言模型，革新语音交互体验。型号能接收多种音频输入，执行音频分析并直接响应语音指令。用户提供独特的音交互模式，无需文字输入，直接通过语音交流，并在音频中提供声音和文本分析。具备智能理解能力，能够结合多音源指令并解析，如区分单一声音、多声道对话及命令，并协助音频解释和响应。性能超越先前优秀模型，特别是在基于音频的指令跟踪功能与聊天模式上。具备开源特性，促进多模态语言发展。产品将分为Qwen2-Audio和Qwen-Audio-Chat，进一步优化多种音频操作体验。在无需特定任务调整的前提下，模型展示了卓越性能。特别在英文自动语音识别（ASR）与聊天任务上表现出色。强调跨声音、音乐和混合音频集的强大指令跟踪功能，显著优于其他大型语言模型（LALM）与Qwen-Audio。

Stability AI公司更新稳定助手功能，新增「搜索与替换」与「Stable Audio」，增强图像编辑能力和音乐创作功能。搜索与替换功能允许用户在上传图像中替换指定对象，提升创意编辑效率。Stable Audio则专注于生成高质量音乐，为用户提供个性化创作选项。此次更新使Stable Assistant更加强大，不仅在图像编辑功能上得到提升，还在音乐创作领域展现新亮点。用户可享受3天免费试用，持续关注公司动态和参与Discord社区，体验平台最新功能带来的创新可能。该更新进一步巩固了Stability AI在图像与音频生成技术领域的领先优势。

阿里通义实验室最近开源了名为FunAudioLLM的音频生成大模型项目，旨在提升人类与大型语言模型（LLMs）间的自然语音交互体验。该项目由两个核心模型组成:SenseVoice和CosyVoice。

日前，Meta 低调的发布了六项研究成果，为 AI 领域带来了新的应用和技术突破。其中包括了多模态模型、文本生成音乐模型、音频水印技术、数据集等多个项目。下面一起来看看这些研究成果具体都是哪些。

["Stability AI 发布名为 “Stable Audio” 的 AI 音乐生成工具，可生成长达 90 秒的高质量商业音乐。","Stable Audio 采用潜在扩散技术，能够解决音乐质量和连贯性问题。","与其他音乐生成模型不同，Stable Audio 可生成长达 90 秒的音乐，音质出色。","Stability AI 与商业音乐库 AudioSparx 合作，为 Stable Audio 提供约 80 万首音乐。","用户可以选择多种订阅计划，生成商业音乐并与音乐库合作分享收益。"]