搜索全球AI产品动态

近日，来自卡内基梅隆大学、斯坦福大学、哈佛大学和普林斯顿大学的研究人员揭示了一个关于大语言模型（LLMs）训练的新发现:并不是预训练的数据越多，模型的表现就越好。相反，他们指出，过度的预训练可能会导致模型性能下降，出现一种被称为 “灾难性过度训练” 的现象。在一项研究中，研究者们对 OLMo-1B 模型进行了比较，分别对其进行了2.3万亿和3万亿个标记的训练。出乎意料的是，虽然第二个模型接受了更多的数据训练，但其在一些基准测试（例如 AlpacaEval 和 ARC）的表现却下

在人工智能（AI）快速发展的背景下，微软正积极推动 AI 技能的普及，推出了为期50天的 AI 技能节。这个活动面向所有人，无论是初学者还是专业人士，均可免费注册，获取丰富的 AI 学习资源。而这次活动不仅旨在提升公众的 AI 能力，还希望借此机会打破吉尼斯世界纪录，真是一个既有趣又实用的活动。AI 正在改变各个行业的工作方式，尤其是在日常办公中。微软希望通过这次活动，帮助更多人理解 AI 技术的潜力，特别是大型语言模型（LLMs）在实际工作中的应用。例如，HCLTech 公司为美

亚马逊近日在其购物工具中进一步融合了人工智能，以鼓励消费者增加购买。该公司在周三宣布推出新功能 “兴趣”，旨在打造个性化和对话式的搜索体验。通过这一新功能，用户可以在搜索栏中输入与自身兴趣、偏好甚至预算相关的定制化提示。例如，用户可以搜索 “适合爱好者的模型制作套件及配件” 或 “咖啡爱好者的冲泡工具和小玩意”。“兴趣” 功能利用大型语言模型（LLMs），将日常语言转换为传统搜索引擎可以理解的查询，从而提供更相关的产品建议。此外，该工具会在后

近日，清华大学的研究团队开源了其最新的研究成果——Video-T1。这项技术的核心在于测试时缩放 （Test-Time Scaling， TTS），旨在通过在视频生成过程的推理阶段投入更多的计算资源，显著提升生成视频的质量和与文本提示的一致性，而无需重新进行昂贵的模型训练。这一创新性的方法为视频生成领域带来了新的可能性。何为“测试时缩放”?在大型语言模型 （LLMs） 领域，研究人员已经发现，通过在测试阶段增加计算量可以有效提升模型性能。Video-T1借鉴了这一思路，并将其应用于视频生成

以AI图像生成技术闻名遐迩的Midjourney，正悄然展现其在人工智能领域的更广阔野心。这家拥有庞大用户群体的科技公司，在自研计算和AI硬件的消息之后，近期携手纽约大学（NYU）的机器学习专家，发布了一项关于训练文本生成大语言模型(LLMs)的最新研究成果。该研究聚焦于提升LLM在创意写作方面的能力，旨在使AI模型能够像Meta的Llama和Mistral等开源模型一样，写出更具创造性的文本。不止于图像:Midjourney发力创意文本生成对于一家以扩散模型AI图像生成技术著称的公司而言，Midjourney此次在文

近日，LLMs.txt生成器迎来重大升级，正式推出v2版本。这一工具能够将任何网站内容快速转化为可供人工智能代理或大型语言模型（LLM）使用的文本文件，为AI应用的开发者和使用者带来了极大便利。新版本由@firecrawl_dev团队开发，并得到其官方llmstxt端点的全力支持，相较于上一代，处理速度提升了惊人的10倍。据介绍，LLMs.txt生成器 v2通过优化算法和增强的端点支持，显著提高了网站内容提取与转换的效率。用户只需输入目标网站URL，即可迅速生成结构化的文本文件，方便直接集成到各类A

近日，Firecrawl 推出了一项全新的功能 ——LLMs.txt 生成器接口（Alpha 版），旨在帮助用户将任何网站的内容转化为清晰、适用于大语言模型(LLM)训练的文本文件。用户只需提供一个网站的 URL，Firecrawl 便会对该网站及其链接页面进行抓取，生成两种格式的文本文件:llms.txt 和 llms-full.txt，便于后续的分析和训练。该生成器的工作流程相对简单。用户只需提供一个网址，系统便会自动爬取该网站的内容，提取出干净且有意义的文本信息。生成的文件分为两种类型:llms.txt 是对网站内容的简明总结，

近年来，基于 Transformer 架构的大型语言模型（LLMs）取得了显著进展，诸如 Gemini-Pro1.5、Claude-3、GPT-4和 Llama-3.1等新模型能够处理成百上千的token。然而，这些扩展的上下文长度带来了实际应用中的一些重大挑战。随着序列长度的增加，解码延迟上升，内存限制也成为了一个严重的瓶颈。KV 缓存在推理过程中储存上下文信息，随着上下文长度的增加，缓存的大小也呈比例增长，这导致内存饱和，严重影响了处理长输入序列的效率，因此迫切需要优化解决方案。虽然市场上存在一些无训练的方

随着开源 AI 框架的快速发展，开发者们在部署 AI 模型时获得了前所未有的灵活性。Portkey AI Gateway 作为一款开源项目，旨在简化 AI 模型的编排，提供统一的 API 接口，助力开发者轻松整合多种 AI 模型。除了支持大型语言模型（LLMs），Portkey 还涵盖了视觉、音频(文本转语音和语音转文本)、图像生成等多模态生成 AI 模型。图源备注：图片由AI生成，图片授权服务商MidjourneyPortkey AI Gateway 的设计初衷在于解决开发者在集成和管理多个 LLM 提供商时面临的诸多挑战，包括供应商锁定、不同模型性能

近年来，大型语言模型（LLMs）在各个领域的应用日益广泛，从内容创作到编程辅助，再到搜索引擎优化，无不展现出其强大的能力。然而，在生物医学研究中，这些模型的应用仍面临着透明度、可重复性和定制化等方面的挑战。针对这一问题，海德堡大学与欧洲生物信息研究所（EMBL-EBI）联合提出了一个开源 Python 框架 ——BioChatter，旨在帮助生物医学研究人员更轻松地使用 LLMs。图源备注：图片由AI生成，图片授权服务商MidjourneyBioChatter 的设计理念是简化技术复杂性，让研究人员能够专注

在人工智能领域，一项颠覆性的技术正在悄然兴起。近日，Inception Labs 宣布推出 Mercury 系列扩散大型语言模型（dLLMs），这是一种新一代的语言模型，旨在快速、高效地生成高质量文本。与传统的自回归大型语言模型相比，Mercury 在生成速度上提高了多达10倍，能够在 NVIDIA H100显卡上实现超过每秒1000个标记的速度，这一速度在以往仅依靠定制芯片才能实现。Mercury 系列的首款产品 Mercury Coder，已在公共测试中亮相。该模型专注于代码生成，展现了出色的性能，并且在多个编程基准测试中超越

Meta AI的研究人员与学术伙伴共同开发了一种创新系统——MILS（多模态迭代LLM求解器），该系统能在无需经过专门训练的情况下，教大型语言模型处理图像、视频和音频。MILS依赖于语言模型的自然问题解决能力，而非大量的数据训练，展现了其独特的优势。MILS的工作原理是通过将两个AI模型配对来进行任务解决:一个是“生成器”，负责提出任务解决方案，另一个是“评分器”，用来评估生成方案的效果。评分器提供的反馈可以帮助生成器不断优化答案，直到达到令人满意的结果。举例来说

通义千问团队近日宣布开源其最新的Qwen2.5-Coder全系列，这一举措旨在推动Open Code LLMs的发展。Qwen2.5-Coder以其强大、多样和实用性受到关注。Qwen2.5-Coder-32B-Instruct模型在代码能力上达到了SOTA水平，与GPT-4o相当，展现出全面的能力

安德森·霍洛维茨基金合伙人贾斯汀·摩尔最近在X上介绍了一项新的投资理念，支持“由LLMs 和代理人打造的新一波‘育儿副驾驶’”。她提到了Cradlewise等公司，该公司生产一种人工智能婴儿监视器，可以检测婴儿的睡眠模式并摇动婴儿床，而Nanit则使用人工智能处理婴儿床录像来判断婴儿是否在呼吸。图源备注:图片由AI生成，图片授权服务商Midjourney摩尔写道:“想象一下，一个人工智能育儿伴侣始终陪伴在你身边——随时准备回答你的问题或谈论你在白天（或晚上）的任何时候的感受。”

一个名为OpenR的创新开源框架近日问世，旨在解决大型语言模型（LLMs）在复杂推理任务中的短板。这一由伦敦大学学院、利物浦大学、上海交通大学、香港科技大学(广州)和西湖大学研究人员联合开发的框架，通过结合测试时计算、强化学习和过程监督，为提升LLMs的推理能力开辟了新途径。尽管LLMs在语言生成方面取得了显著进展，但在处理数学、编程和科学问题等复杂任务时仍面临挑战。OpenR的出现正是为了弥补这一差距，将LLMs的能力从简单的文本生成拓展到更高级的推理领域。OpenR的设

大型语言模型（LLMs）因出色的自然语言处理能力而闻名，但在实践中，它们的推理阶段面临高计算成本和内存占用的挑战。为了提高LLMs效率，研究人员引入了一项名为 Q-Sparse 的技术。Q-Sparse 方法通过在激活中应用 top-K 稀疏化和直通估计器，实现了完全稀疏激活的状态压缩，显著提升推理效率。研究发现，Q-Sparse 能在保持结果与 baseline LLMs相当的条件下，提高推理效率。这种方法适用于全精度和 1 位（如 BitNet b1.58）LLMs。 稀疏激活通过减少矩阵乘法和输入/输出传输量来提高效率。Q-Sparse 在每个线性投影中实现全激活稀疏化，通过 top-K 稀疏化函数实现与反向传播中梯度计算的直通估计器相结合，进一步提高了激活稀疏性。采用平方 ReLU 函数提高激活稀疏性。 实验结果揭示，随着模型大小和稀疏比率的增加，稀疏激活模型的性能提高，这也适用于从头开始训练、已有的 LLMs 继续训练和微调。Q-Sparse 还被应用于包括 BitNet b1.58 和混合专家（MoE）在内的 LLMs，并探索兼容批量模式的优化以增加训练和推理的灵活性。

近期,麻省理工学院研究团队对大型语言模型(LLMs)在不同任务下的表现进行了深入探讨。研究发现,LLMs在熟悉任务上表现良好,但却在面对非典型或未知情境时显现出推理能力的严重局限。通过比较“默认任务”与“反事实场景”,以及调整任务设计以测试模型反应,结果表明,尽管模型在十进制算术运算相当出色,但在非十进制环境以及音乐、空间推理和国际象棋等其他任务中表现出完全不同的表现。模型的不稳定表现和对训练数据的直接记忆依赖,揭示了其在面对变动环境中较为有限的逻辑应用能力。研究主要作者指出,LLMs更加擅长于在熟悉场景下利用已知信息,而非灵活运用逻辑推理处理环境变化。这一发现对未来模型设计具有重要意义,尤其是在适应性和多任务处理能力提升方面,并指出了研究领域的新方向,力图构建更具普适性和鲁棒性的AI模型原型,应对真实世界复杂多变的挑战。当前研究的局限性在于对候选模型评估的维度和环境的限制,未来需进一步扩大评估范围,以全面揭示模型在真实世界应用中的潜在限制。

Poe平台新推出的Previews功能是一项创新性工具，它允许用户在与AI应用对话时直接查看和操作AI生成的Web应用程序，开创了AI社交互动的新纪元。该功能最大的亮点是其实时性和交互性，用户能够如同与朋友聊天一般轻松体验复杂的AI应用，尤其适用于大型语言模型（如Claude3.5Sonnet、GPT-4和Gemini1.5Pro）生成的Web应用。这一举措不仅提升了用户体验，也为非专业用户提供了接触高级AI技术的机会，预计将吸引大量对AI技术感兴趣的用户，特别是那些缺乏专业编程知识的人群。

阿里通义实验室最近开源了名为FunAudioLLM的音频生成大模型项目，旨在提升人类与大型语言模型（LLMs）间的自然语音交互体验。该项目由两个核心模型组成:SenseVoice和CosyVoice。