​中国人工智能领域的知名企业云知声，于2024年8月23日在北京宣布推出其最新研发成果——山海多模态大模型。山海多模态大模型是云知声Atlas人工智能基础设施的一部分，它能够接收和处理文本、音频、图像等多种模态的输入，并实时生成文本、音频和图像的任意组合输出。这种能力使得山海模型不仅能够进行高效的语音交互，还能提供接近人类自然对话的流畅体验。

上海交通大学与字节跳动合作开发的LSLM全双工语言模型，颠覆了传统AI助手交互模式，实现边说边听的实时交互。LSLM核心优势在于其同时处理语音输入与生成输出的能力，显著提升对话自然流畅性。通过结合流式自监督学习与基于token的解码器，该模型支持实时语音交互，甚至在嘈杂环境中表现优异。LSLM的中期融合策略在语音生成与实时交互间取得最佳平衡，展现强大噪声抵抗与指令敏感性。此技术突破不仅大幅提升了用户体验，还具有广泛的应用前景，预示着人机交互新时代的来临，AI助手将与人类对话更加自然、流畅，技术与人性的融合达到新高度。

知网近日推出新版AI学术研究助手手机版，旨在满足科研工作者在移动设备上的便捷学术需求。该助手集成问答式增强检索、灵感中心、语音交互和笔记问答四大功能，通过自然语言处理为用户提供全面专业答案，推荐选题、大纲、文献，并支持语音输入和播报。用户可通过语音与系统互动，获取相关资料，提高效率并享受便捷的检索体验。同时，用户笔记信息可以在手机端与PC端实时同步，提升使用便捷度。此工具的全面升级旨在进一步优化研究服务，为科研工作提供更多智能化支持。

阿里云推出“Qwen-Audio”，一款大型音频语言模型，革新语音交互体验。型号能接收多种音频输入，执行音频分析并直接响应语音指令。用户提供独特的音交互模式，无需文字输入，直接通过语音交流，并在音频中提供声音和文本分析。具备智能理解能力，能够结合多音源指令并解析，如区分单一声音、多声道对话及命令，并协助音频解释和响应。性能超越先前优秀模型，特别是在基于音频的指令跟踪功能与聊天模式上。具备开源特性，促进多模态语言发展。产品将分为Qwen2-Audio和Qwen-Audio-Chat，进一步优化多种音频操作体验。在无需特定任务调整的前提下，模型展示了卓越性能。特别在英文自动语音识别（ASR）与聊天任务上表现出色。强调跨声音、音乐和混合音频集的强大指令跟踪功能，显著优于其他大型语言模型（LALM）与Qwen-Audio。

阿里通义实验室最近开源了名为FunAudioLLM的音频生成大模型项目，旨在提升人类与大型语言模型（LLMs）间的自然语音交互体验。该项目由两个核心模型组成:SenseVoice和CosyVoice。

["大众汽车宣布将在多款车型中批量集成ChatGPT，与IDA语音助手结合，标志着汽车行业正式进入生成式AI时代。","用户可以通过自然语言与汽车进行互动，实现诸如查询路况、导航、调整设备等功能。","集成ChatGPT的车型包括ID.7、ID.5、ID.4、ID.3、全新途观、全新帕萨特，以及新款高尔夫。","生成式AI技术使得汽车语音交互更智能、友好，大众汽车致力于技术的民主化，让更多用户能够轻松享受智能化服务。","此举表明生成式AI已成为汽车智能化的重要组成部分，奔驰早在2023年与微软合作，在MBUX中集成了ChatGPT。"]

["📱 <b>智能音箱困境</b>:文章分析了智能音箱陷入“玩物”标签的原因,如交互体验不佳、使用场景单一等。","💡 <b>大模型应用</b>:文章提到大模型为智能音箱带来新的发展机遇,可显著提升其交互体验。","🤝 <b>行业竞争</b>:文章述及百度、阿里、小米等在智能音箱市场上的竞争格局。"]

["ChatGPT在iOS和Android平台上推出语音交互功能,用户可以选择5种语音直接与其语音对话;","图像处理功能支持用户上传图片,ChatGPT可以分析图片内容并作出回应;","OpenAI表示会逐步完善新功能的风险缓解措施,防止被恶意滥用;","新功能将在未来两周内向Plus用户和企业用户推出。"]

["OpenAI为ChatGPT推出语音和图像功能,支持语音对话和图片识别","新功能先在ChatGPT Plus和企业版用户中推出,语音部分基于Whisper模型","多模态ChatGPT称为GPT-4V,与GPT-4同期训练,考虑安全性才推迟发布"]