最近，一款由 OpenAI 的 Whisper 技术驱动的 AI 转录工具在医疗行业广受欢迎。许多医生和医疗机构都在使用这个工具来记录和总结与患者的会面。根据 ABC 新闻的报道，研究人员却发现这款工具在某些情况下会出现 “幻觉” 现象，有时甚至会完全编造内容。这款由名为 Nabla 的公司开发的转录工具，已经成功转录了超过700万次医学对话，目前有超过3万名临床医生和40个健康系统在使用它。尽管如此，Nabla 公司也意识到了 Whisper 会产生幻觉的可能性，并表示正在努力解决这个问题。一组来自康

法国初创公司Gladia提供了一种语音识别应用程序编程接口（API），在A轮融资中筹集了1600万美元。本质上，Gladia的API能够将任何音频文件以高准确度和低延迟转换成文本。虽然亚马逊、微软和谷歌都作为其云托管产品套件的一部分提供了语音转文本API，但它们的表现并不如一些专业初创公司提供的新型模型。尤其是自OpenAI发布Whisper模型以来，这一领域在过去几年取得了巨大进步。Gladia与AssemblyAI、Deepgram和Speechmatics等资金充足的公司竞争。图源备注：图片由AI生成，图片授权服务商MidjourneyGl

在人工智能快速发展的今天，一个国际研究团队正在为欧洲AI语言模型的发展铺平道路。他们推出了名为MOSEL（Massive Open-source compliant Speech data for European Languages）的项目，为欧盟 24 种官方语言编制了一个全面的开源语音数据集。这一举措旨在推动欧洲开放AI语言模型的发展，挑战目前由英语数据集和大型科技公司专有系统主导的局面。MOSEL项目汇集了来自 18 个不同来源的语音数据，包括CommonVoice、LibriSpeech和VoxPopuli等知名项目。这个庞大的数据库包含了带转录的语音录音和未标记的音频数据

阿里巴巴近期发布了全新开源语音模型Qwen2-Audio，这款模型在语音识别、翻译和音频分析方面表现出色，实现了显著性能提升。Qwen2-Audio提供基础版和指令微调版，支持多种语言，如中文、粤语、法语、英语和日语，为情感分析和翻译应用提供了便利。相较于Qwen-Audio，Qwen2-Audio在架构和性能上进行了全面优化，预训练阶段采用更自然的语言提示，提升理解和泛化能力。指令跟随能力增强，能更准确理解用户指令。模型引入语音聊天和音频分析模式，输出符合人类期望。在性能测试中，Qwen2-Audio超越OpenAI的Whisper-large-v3，在语音识别和翻译准确性上表现出强劲竞争力。

以色列AI公司aiOla发布了一款名为Whisper Medusa的开源语音识别模型，该模型基于改进的架构设计，引入多头注意力机制，使其处理速度比OpenAI的Whisper模型快50%。Whisper Medusa通过并行预测十个tokens，而非传统的一次一个，显著提高了语音识别速度，同时保持了性能不减。其创新的训练方法采用弱监督学习，冻结主干系统并使用模型生成的音频转录作为标签训练其他模块。这一开源模型的发布，将为语音识别技术的发展带来深远影响，推动更快速、高效的语音处理应用，并可能在智能助手、实时翻译和语音控制系统等领域实现性能提升。

以色列AI初创公司aiOla发布了一款名为Whisper-Medusa的开源语音识别模型，比OpenAI的Whisper快50%。该模型基于Whisper构建，采用了创新的“多头注意力”架构，能一次预测更多代币，速度提升显著而准确性不变。Whisper-Medusa已在Hugging Face上以麻省理工学院许可发布，允许研究和商业使用。aiOla通过弱监督机器学习方法训练模型，冻结了Whisper的主要组件，并使用模型生成的音频转录作为标签来训练额外的token预测模块。该模型在真实企业数据用例上测试过，能在实际场景准确运行，有望在语音应用中加快响应速度，提升效率和降低成本。

GroqCloud 静悄悄推出 Whisper V3 Large，开发者们可以利用语音转文字功能构建，现在内置在 GroqChat 中让每个人体验。

​Groq 最新上线了 Whisper Large-V3模型，用户可以在 Playground 或本地项目中使用 API，实现语音转录和翻译功能。该模型支持多种语言的转录，转录速度极快，且支持将其他语言翻译成英文。

["OpenAI 在开发者日发布了升级版的自动语音识别模型 Whisper3。","Whisper3 具备多语言支持，能快速准确地将音频转录成文本。","OpenAI 计划向用户开放 Whisper3 的 API"]