Nexa AI近日推出了其全新的OmniAudio-2.6B音频语言模型，旨在满足边缘设备的高效部署需求。与传统的将自动语音识别（ASR）和语言模型分开的架构不同，OmniAudio-2.6B将Gemma-2-2b、Whisper Turbo以及定制的投影仪集成到一个统一框架中，这一设计消除了传统系统中各个组件链接所带来的低效率和延迟，特别适用于计算资源有限的设备。主要亮点:处理速度: OmniAudio-2.6B在性能上表现出色。在2024Mac Mini M4Pro上，使用Nexa SDK并采用FP16GGUF格式时，模型可实现每秒35.23个令牌的处理速度，而在Q4_K_M GGUF格式下，

美国初创公司 Useful Sensors 推出了一款名为 Moonshine 的开源语音识别模型。Moonshine 的设计旨在更高效地处理音频数据，相比于 OpenAI 的 Whisper，它在计算资源的使用上更为经济，处理速度快五倍。这一新模型专为在资源有限的硬件上实现实时应用而打造，具有灵活的架构。与 Whisper 将音频分为固定的30秒片段处理不同，Moonshine 根据实际音频长度调整处理时间。这使得它在处理较短音频片段时表现出色，减少了由于零填充而产生的处理开销。Moonshine 有两个版本:小型的 Tiny 版本参数量为2710万，

法国初创公司Gladia提供了一种语音识别应用程序编程接口（API），在A轮融资中筹集了1600万美元。本质上，Gladia的API能够将任何音频文件以高准确度和低延迟转换成文本。虽然亚马逊、微软和谷歌都作为其云托管产品套件的一部分提供了语音转文本API，但它们的表现并不如一些专业初创公司提供的新型模型。尤其是自OpenAI发布Whisper模型以来，这一领域在过去几年取得了巨大进步。Gladia与AssemblyAI、Deepgram和Speechmatics等资金充足的公司竞争。图源备注：图片由AI生成，图片授权服务商MidjourneyGl

近日，FunASR推出了一款功能强大的多语言离线文件转录软件包，为用户提供了高效、精准的语音转文本解决方案。这款软件包的核心优势在于其离线文件转录能力。它能够轻松处理长达数小时的音频或视频文件，并生成带有标点符号的转录文本。这一功能对于需要处理大量音频材料的专业人士来说，无疑是一大福音。FunASR的多语言支持也令人印象深刻。目前，该软件包已经支持中文、英语、日语、粤语和韩语等多种语言，展现了卓越的语音识别能力。更值得一提的是，它还能提供词级时间

摩尔线程宣布开源其音频理解大模型MooER，成为首个基于国产全功能GPU的大型开源语音模型。MooER支持中英文语音识别与翻译，采用三部分模型结构，展现强大多语言处理能力。已开源推理代码与5000小时数据训练的模型，计划进一步开源训练代码与8万小时数据训练的增强版。在对比测试中，MooER-5K表现出色，中文CER为4.21%，英文WER为17.98%，特别是在Covost2zh2en测试集上，BLEU分数高达25.2，领先其他开源模型。基于8万小时数据训练的MooER-80k模型，中文CER降至3.50%，英文WER优化到12.66%，显示了巨大性能提升潜力。此次开源不仅展示了国产GPU在AI领域的应用实力，也为全球音频AI技术发展注入活力，期待MooER在语音识别、翻译等领域带来更多创新突破。

在2024年8月21日的火山引擎AI创新巡展上海站上，火山引擎展示了豆包大模型的全面升级，包括豆包·文生图模型对长文本有更精准的图文匹配能力，豆包·语音识别模型在多个公开测试集中的错误率最高降低40%，以及豆包·语音合成模型升级了流式语音合成能力，能够实时响应、精准断句。火山引擎还发布了对话式AI实时交互解决方案，整合豆包大模型和实时音视频技术，提供端到端的大模型实时对话方案，让AI交互体验更强。此外，火山引擎与多点DMALL联合成立零售大模型生态联盟，与汽车大模型生态联盟增加新成员，旨在推动零售和汽车行业的智能化升级。

字节跳动推出的Seed-ASR引擎，通过海量训练数据，实现了对普通话、13种中国方言及7种外语的高精度识别，显著提升了跨语言交流的便利性。其关键优势在于出色的上下文感知能力，能结合历史信息准确识别人名、地名和关键词，尤其在特定场景下表现优异，提升识别精度。无论是在日常对话、复杂会议还是多人交谈、背景噪音环境中，Seed-ASR均能精准转录。它还能识别各种专业领域术语，适用于智能助手、语音搜索等场景，大幅改善用户体验。

Linly-Dubbing是一个开源AI工具，专为视频多语言配音和翻译设计，简化视频本地化流程。用户只需上传视频，工具即可自动下载、翻译、配音并生成字幕，支持多种语言。其AI识别与翻译能力强大，与GPT等模型合作，确保翻译质量高且自然流畅。特别突出的是声音克隆技术，能生成与原配音高度相似的声音，确保口型与语音同步，提高视频观赏体验。该工具适合国际教育和全球娱乐内容本地化，为用户提供高度定制化服务，目前项目正在持续优化中。

阿里巴巴近期发布了全新开源语音模型Qwen2-Audio，这款模型在语音识别、翻译和音频分析方面表现出色，实现了显著性能提升。Qwen2-Audio提供基础版和指令微调版，支持多种语言，如中文、粤语、法语、英语和日语，为情感分析和翻译应用提供了便利。相较于Qwen-Audio，Qwen2-Audio在架构和性能上进行了全面优化，预训练阶段采用更自然的语言提示，提升理解和泛化能力。指令跟随能力增强，能更准确理解用户指令。模型引入语音聊天和音频分析模式，输出符合人类期望。在性能测试中，Qwen2-Audio超越OpenAI的Whisper-large-v3，在语音识别和翻译准确性上表现出强劲竞争力。

以色列AI公司aiOla发布了一款名为Whisper Medusa的开源语音识别模型，该模型基于改进的架构设计，引入多头注意力机制，使其处理速度比OpenAI的Whisper模型快50%。Whisper Medusa通过并行预测十个tokens，而非传统的一次一个，显著提高了语音识别速度，同时保持了性能不减。其创新的训练方法采用弱监督学习，冻结主干系统并使用模型生成的音频转录作为标签训练其他模块。这一开源模型的发布，将为语音识别技术的发展带来深远影响，推动更快速、高效的语音处理应用，并可能在智能助手、实时翻译和语音控制系统等领域实现性能提升。

以色列AI初创公司aiOla发布了一款名为Whisper-Medusa的开源语音识别模型，比OpenAI的Whisper快50%。该模型基于Whisper构建，采用了创新的“多头注意力”架构，能一次预测更多代币，速度提升显著而准确性不变。Whisper-Medusa已在Hugging Face上以麻省理工学院许可发布，允许研究和商业使用。aiOla通过弱监督机器学习方法训练模型，冻结了Whisper的主要组件，并使用模型生成的音频转录作为标签来训练额外的token预测模块。该模型在真实企业数据用例上测试过，能在实际场景准确运行，有望在语音应用中加快响应速度，提升效率和降低成本。

Intron Health，一家专注于临床语音识别的初创公司，宣布获得了160万美元的种子轮融资。该公司由Tobi Olatunji创立，他曾是一名在尼日利亚接受培训并执业的医生，亲眼目睹了医疗系统的低效率，包括繁琐的文书工作和追踪这些文件的困难。

微软近期发布了一款零样本文本到语音（TTS）模型VALLE-2，该成果在技术界引发热议，被认为是TTS领域的里程碑。VALLE-2的创新之处在于其零样本学习能力，仅需一小段陌生语音样本，便能模仿声音说任意文本，实现了惊人的即时模仿和编码器分组。它还改进了重复感知采样，提高解码稳定性，并简化了数据需求。在主观评分和客观指标的测试中，VALLE-2超越了前代模型VALLE，几乎达到人类语音水平。然而，强大的语音模仿能力也引发了对Deepfake技术滥用的担忧，特别是关于伦理考量和潜在风险，如模型对非英美口音处理能力及计算效率的改进空间。当前，微软仅将其作为研究项目，并强调了合成语音检测和授权机制的重要性。未来在语音助手、内容创作等领域的应用值得期待，同时需要关注技术的伦理使用与风险防控。更多关于VALLE-2的信息可访问项目页面：Microsoft官网。

["腾讯云 ASR 升级，更好处理方言和噪声","ASR 支持 23 种方言识别和噪声过滤","使用大语言模型提升识别准确率","产品广泛应用于内外部企业客户","腾讯云 ASR 已达百亿次单日调用量"]

["近期Nature子刊报道，利用活人脑细胞构建的AI系统，语音识别准确率从30%-40%提升至78%。","系统可进行无监督学习，类似神经网络，学习能力与脑类器官神经细胞连接有关。","通过“迷你大脑”和微电极组成，两天训练后实现显著提升，但仅能识别讲话者而不理解内容。","系统性能有望提高，但脑类器官只能存活1-2个月，外部设备功耗较高。","研究揭示真正通用生物计算系统或需数十年，但对人脑学习奥秘具有重要帮助。"]

["亚马逊发布新一代ASR系统，覆盖100多语言，提供全面自动语音识别服务。","语音基础模型提升20%至50%准确度，在电话语音等挑战领域提高30%至70%准确度。","系统支持多项特性，包括自动标点、自定义词汇、自动语言识别、说话人分离等。","成千上万企业利用Amazon Transcribe解锁音频内容见解，提高可访问性和可发现性。"]

["随着人工智能的使用,电话中的声音可以被仿真并实时交流,这让电话不再可信。","人工智能生成的声音被用于一种被称为声音网络钓鱼或'vishing'的欺诈。","技术公司正在通过识别模式和找到阻止它们的方法来应对这种威胁。","商业和消费者教育是唯一真正主动的方法来传递保护自己信息的知识。","身份保护服务将继续对消费者有用,需要制定员工网络安全培训。"]

{"1":"Meta 开源全球最大多模式翻译大模型，支持 100 种语言，能识别地方语言。","2":"SeamlessM4T 是首个一体化 AI 翻译大模型，支持语音到文本、语音到语音、文本到语音和文本到文本的多模式翻译任务。","3":"SeamlessM4T 集成了 Meta 之前发布的 NLLB、MMS 等翻译模型，并使用了 270,000 小时的语音和文本对齐数据。"}