欢迎来到【AI日报】栏目!这里是你每天探索人工智能世界的指南，每天我们为你呈现AI领域的热点内容，聚焦开发者，助你洞悉技术趋势、了解创新AI产品应用。
亚马逊公司近日被报道正在开发一种名为 “Olympus” 的多模态大型语言模型，预计最早将于下周的 AWS re:Invent 大会上正式发布。根据theinformation的消息，这一算法的内部代号为 “Olympus”。去年11月，《路透社》曾报道，亚马逊在训练名为 “Olympus” 的大型语言模型上投入了数百万美元，模型的参数量高达2万亿。至于这次报道中提到的模型是否与之前的 “Olympus” 相同，或是其新版本，亦或是全新的系统，仍然不清楚。图源备注:图片由AI生成，图片授权服务商Midjourney据悉，新的 “Olympus”
Meta AI近日重磅开源了名为SPIRIT LM的基础多模态语言模型，该模型能够自由混合文本和语音，为音频和文本的多模态任务打开了新的可能性。SPIRIT LM基于一个70亿参数的预训练文本语言模型，通过在文本和语音单元上进行持续训练，扩展到语音模态。它可以像文本大模型一样理解和生成文本，同时还能理解和生成语音，甚至可以把文本和语音混合在一起，创造出各种神奇的效果! 比如，你可以用它来做语音识别，把语音转换成文字;也可以用它来做语音合成，把文字转换成语音;还可以用它来做
最近，Salesforce AI 研究团队推出了一款全新的多模态语言模型 ——BLIP-3-Video。随着视频内容的快速增加，如何高效处理视频数据成为了一个亟待解决的问题。这款模型的出现，旨在提升视频理解的效率和效果，适用于从自动驾驶到娱乐等各个行业。传统的视频理解模型往往是逐帧处理视频，生成大量的视觉信息。这一过程不仅消耗了大量的计算资源，还极大地限制了处理长视频的能力。随着视频数据量的不断增长，这种方法变得愈发低效，因此，找到一种既能捕捉到视频的关键信息，又能
在创作引人入胜的视频时，除了视觉效果，音频同样扮演着重要角色。然而，寻找或制作合适的音效往往是一项耗时的工作。在 Adobe 的年度 MAX 大会上，他们展示了一款名为 Project Super Sonic 的实验性原型，这项技术可以通过文本生成音效、识别视频中的物体，甚至利用你的声音，快速为视频项目生成背景音效和音效。虽然通过文本提示生成音效的功能听起来很酷，但实际上，像 ElevenLabs 这样的公司已经在商业上提供了类似的服务。更有趣的是，Adobe 将这个功能更进一步，增加了两种创建音
["谷歌团队推出全新通用视觉编码器VideoPrism，训练数据集包含3600万视频字幕和5.82亿视频剪辑。","VideoPrism在33项视频理解基准测试中刷新30项SOTA，具有广泛的视频理解能力。","通过单一冻结模型，VideoPrism可以处理各种视频理解任务，包括分类、本地化、检索、字幕和问答。","研究人员利用海量视频数据和文本对进行预训练，展现了VideoPrism在视频领域的优越性能。","谷歌的VideoPrism在各种视频任务上取得显著的进展，展现了其强大的通用性和泛化能力。"]
["零一万物 Yi-VL 多模态语言模型上线，包括 Yi-VL-34B 和 Yi-VL-6B 两个版本","Yi-VL 模型在图文理解和对话生成方面具备卓越能力","Yi-VL 模型在英文和中文数据集上取得领先成绩","Yi-VL-34B 以 41.6% 的准确率超越其他多模态大模型","Yi-VL 模型基于 LLaVA 架构，具备强大的语言理解和生成能力"]
["腾讯AI实验室与悉尼大学携手合作，引入GPT4Video，为多模态语言模型（MLLMs）领域填补了生成方面的空白。","GPT4Video是一个多功能框架，使得大型语言模型具备了视频理解和生成的独特能力。","通过引入安全微调方法，提高了视频生成的安全性，为RLHF方法提供了一种吸引人的替代方案。","发布了数据集，为未来多模态LLMs领域的研究提供了支持。","该研究强调了GPT4Video填补了多模态内容生成领域的空白，为大型语言模型赋予了视频理解和生成的能力。"]
["NExT-GPT 是新加坡国立大学开源的多模态语言模型，支持处理文本、图像、视频和音频，为多媒体人工智能应用提供强大支持。","采用三层架构，包括线性投影、Vicuna LLM 核心和模态特定的转换层，通过 MosIT 技术进行中间层训练。","开源贡献使研究者和开发者能够创建集成多模态输入的应用，潜在应用领域广泛。","NExT-GPT 独特之处在于能够根据用户请求生成模态信令标记，为不同媒体类型的人工智能应用提供了新的可能性。"]
["AMBER项目发布新基准，旨在评估和降低多模态语言模型中的幻觉问题。","项目地址: https://github.com/junyangwang0410/amber","多模态语言模型处理文本、图像、音频等数据时可能产生不准确或误导性结果。","提供详细细粒度注释和自动化评估流程，简化模型性能评估。","AMBER基准的发布将推动多模态语言模型领域的研究和发展。"]
["苹果和哥伦比亚大学研究人员共同开发了Ferret多模态语言模型，旨在实现高级图像理解和描述。","Ferret模型具备强大的全局理解能力，能够处理自由文本和引用区域，性能领先传统模型。","研究人员创建了GRIT数据集，包括1.1百万个样本，用于指导模型进行引用和定位任务。","Ferret-Bench评估显示，Ferret性能平均优于最佳MLLM模型20.4%，并减少了对象幻觉。"]