大型语言模型 (LLM) 在自然语言处理 (NLP) 领域取得了显著进展，使其在文本生成、摘要和问答等应用中大放异彩。然而，LLM 对令牌级处理（一次预测一个词）的依赖也带来了一些挑战。这种方法与人类的交流方式形成对比，后者通常在更高层次的抽象层面运作，例如句子或想法。令牌级建模在需要长上下文理解的任务中也显得力不从心，并可能产生不一致的输出。此外，将这些模型扩展到多语言和多模态应用中，在计算上成本高昂，且需要大量数据。为了解决这些问题，Meta AI 的研究人员

红帽公司近日发布了其企业级 Linux 人工智能平台 RHEL AI 的最新版本1.3，该版本新增了对 IBM Granite 大型语言模型（LLM）的支持，并预览了对 Intel Gaudi3加速器的支持。这一更新为红帽的服务合作伙伴和系统集成商带来了更多的机会，帮助企业更有效地探索和整合人工智能应用。红帽 AI 业务部门副总裁兼总经理乔・费尔南德斯表示，服务合作伙伴和系统集成商在帮助公司实现不同的应用案例方面扮演着重要角色。他指出，生成式人工智能的复杂性使得这些合作伙伴能够为客户提供更具成本效益

在2024年 AWS re:Invent 大会上，亚马逊网络服务（AWS）宣布推出基于 Trainium2芯片的 Amazon Elastic Compute Cloud(EC2)实例，正式提供给用户。这新实例在价格性能方面相比于上一代基于 GPU 的 EC2实例提升了30-40%。AWS 首席执行官马特・加曼表示:“，我很高兴地宣布 Trainium2驱动的 Amazon EC2Trn2实例的正式发布。”除了 Trn2实例外，AWS 还推出了 Trn2UltraServers，并展示了下一代 Trainium3AI 芯片。Trn2实例配备了16个 Trainium2芯片，能够提供高达20.8petaflops 的计算性能，专为训练和部署具有数十亿参数的大型语言模型

最近，AI 大型语言模型（LLM）在各种任务中表现出色，写诗、写代码、聊天都不在话下，简直是无所不能!但是，你敢相信吗?这些“天才”AI 居然是“数学菜鸟”!它们在处理简单的算术题时经常翻车，让人大跌眼镜。一项最新的研究揭开了 LLM 算术推理能力背后的“奇葩”秘诀:它们既不依赖强大的算法，也不完全依靠记忆，而是采用了一种被称为“启发式大杂烩”的策略! 这就好比一个学生，没有认真学习数学公式和定理，而是靠着一些“小聪明”和“经验法则”来蒙答案。研究人员以算

随着 ServiceTitan 向美国证券交易委员会提交首次公开募股（IPO）申请文件，该公司在风险因素部分特别提到了大型语言模型(LLMs)可能带来的潜在风险。此类警告或许标志着未来 IPO 文档中的新标准:使用 AI 技术的同时也伴随风险。在 ServiceTitan 的申请文件中，有一段长达1150字的风险提示，详细阐述了其使用生成性 AI 的可能负面影响。公司警告称，LLMs 可能产生 “虚假” 信息，并可能表现出 “歧视性” 行为。此外，使用这些模型可能涉及侵犯他人的版权或知识产权，而在数据的使用上，若不

在当今科技领域，CLIP（Contrastive Language-Image Pre-training）是一个重要的多模态基础模型。它通过在大规模图像 - 文本对上使用对比学习损失，将视觉信号和文本信号结合到一个共享的特征空间中。CLIP 作为检索器，能够支持零 - shot 分类、检测、分割和图像 - 文本检索等多种任务。同时，作为特征提取器，它在几乎所有跨模态表示任务中占据主导地位，例如图像理解、视频理解以及文本到图像或视频生成。CLIP 的强大之处在于它能够将图像与自然语言相连接，并捕捉人类知识，这得益于其在大

微软近期发布了一款引人注目的 Python 库 ——TinyTroupe，这是一种基于大型语言模型（LLM）的多智能体人格模拟工具。TinyTroupe 中的智能体被称为 TinyPersons，它们可以在模拟的环境中进行互动和交流。通过利用强大的大型语言模型（LLM），尤其是 GPT-4，TinyTroupe 可以生成逼真的模拟行为，让用户得以探索各种消费者类型和互动方式。简单的说就是，TinyTroupe 亮点在于它能够模拟具备特定性格、兴趣和目标的虚拟角色，从而为企业在商业决策和市场研究方面提供全新的视角。使用 TinyTroupe，用户

通义千问团队近日宣布开源其最新的Qwen2.5-Coder全系列，这一举措旨在推动Open Code LLMs的发展。Qwen2.5-Coder以其强大、多样和实用性受到关注。Qwen2.5-Coder-32B-Instruct模型在代码能力上达到了SOTA水平，与GPT-4o相当，展现出全面的能力

安德森·霍洛维茨基金合伙人贾斯汀·摩尔最近在X上介绍了一项新的投资理念，支持“由LLMs 和代理人打造的新一波‘育儿副驾驶’”。她提到了Cradlewise等公司，该公司生产一种人工智能婴儿监视器，可以检测婴儿的睡眠模式并摇动婴儿床，而Nanit则使用人工智能处理婴儿床录像来判断婴儿是否在呼吸。图源备注:图片由AI生成，图片授权服务商Midjourney摩尔写道:“想象一下，一个人工智能育儿伴侣始终陪伴在你身边——随时准备回答你的问题或谈论你在白天（或晚上）的任何时候的感受。”

Hugging Face今天发布了SmolLM2，一组新的紧凑型语言模型，实现了令人印象深刻的性能，同时所需的计算资源比大型模型少得多。新模型采用Apache2.0许可发布，有三种大小——135M、360M和1.7B参数——适合部署在智能手机和其他处理能力和内存有限的边缘设备上。SmolLM2-1B模型在几个关键基准测试中优于Meta的Llama1B模型，尤其是在科学推理和常识任务中表现出色。该模型在大多数认知基准上的表现都优于大型竞争模型，使用了包括FineWeb-Edu和专门的数学和编码数据集在内的多样化数据集组合。SmolL

近日，AMD 发布了其最新的 Strix Point APU 系列，强调该系列在 AI 大语言模型（LLM）应用中的出色表现，远超英特的 Lunar Lake 系列处理器。AI 工作负载需求的不断增长，硬件的竞争愈发激烈。为了应对市场，AMD 推出了为移动平台设计的 AI 处理器，旨在更高的性能更低的延迟。AMD 表示，ix Point 系列的 Ryzen AI300处理器在处理 AI LLM 任务时，能够显著提高每秒处理的 Tokens 数量，相较于英特尔的 Core Ultra 258V，Ryzen AI9375的性能提升达到了27%。虽然 Core Ultra7V 并不是 L Lake 系列中最快型号，但其核心和线

近日，CareYaya Health Technologies 推出了一款名为 MedaCareLLM 的人工智能（AI）驱动大型语言模型，旨在帮助痴呆症和阿尔茨海默病患者改善日常生活。这项技术集成于智能眼镜中，通过视频数据和面部及物体识别技术，为患者提供实时的 “生活改变” 帮助。当患者佩戴这款智能眼镜时，AI 可以识别出熟悉的面孔。识别后，系统会将该人的信息转化为提示，通过骨传导耳机或助听器直接传递到佩戴者的耳朵中。这一功能帮助患者克服因记忆丧失而产生的困惑和尴尬，使他们更容易识别家人和朋友

Meta 近日宣布，其 MobileLLM 模型现已向研究人员开放，用户可在 Hugging Face 平台上免费下载并使用这些模型，这些模型已与 Transformers 库全面集成。这一举措旨在推动移动设备上的大型语言模型（LLM）的研究和开发，为开发者和学术界提供更广泛的工具与资源。MobileLLM 是 Meta 在移动 AI 领域的重要进展。它的推出标志着 Meta 在降低大型语言模型使用门槛方面的重要一步。这些模型能够在移动设备上运行，使得开发者能够在更广泛的应用场景中利用 AI 技术。研究人员现在可以直接在自己的项目

近日，在LLM大模型榜单上引发关注的神秘模型red_panda（小熊猫）终于揭开面纱，该模型实为英国人工智能初创公司Recraft AI推出的最新图像生成模型Recraft V3。据悉，自以red_panda化名发布以来，Recraft V3已收获超过10万次投票，在Artificial Analysis排行榜上以1172的ELO评分领先其他模型。值得注意的是，Artificial Analysis图像竞技场累计已有超过100万次投票，其ELO评分系统被视为评估图像生成模型的重要独立指标。Recraft V3的突出特点在于其强大的长文本图像生成能力，不再局限于单个或少量词语的图像

最近，Meta AI 团队带来了 LongVU，这是一种新颖的时空自适应压缩机制，旨在提升长视频的语言理解能力。传统的多模态大型语言模型（MLLMs）在处理长视频时面临着上下文长度的限制，而 LongVU 正是为了解决这一难题而诞生。LongVU 的工作原理主要通过过滤重复帧、跨帧token压缩等方法来高效使用上下文长度，能够在保持视频视觉细节的同时减少视频中的冗余信息。具体来说，团队使用 DINOv2的特征来剔除那些高度相似的冗余帧。接着，通过文本引导的跨模态查询，实现了选择性地减少帧特征

近日，网络安全公司 Palo Alto Networks 的 Unit42研究团队发布了一项令人瞩目的研究，揭露了一种名为 “Deceptive Delight”的新型越狱方法。这个方法能够在仅仅两到三次交互中，就成功诱导大型语言模型（LLM）生成有害内容，其成功率高达65%。这一发现为保护 LLM 的安全性敲响了警钟。图源备注：图片由AI生成，图片授权服务商Midjourney研究团队在测试中分析了多达8000个案例，并评估了八种不同的语言模型。在这个越狱技术的第一步，攻击者首先会要求 LLM 生成一个叙述，这个叙述包含两个无害

一个名为OpenR的创新开源框架近日问世，旨在解决大型语言模型（LLMs）在复杂推理任务中的短板。这一由伦敦大学学院、利物浦大学、上海交通大学、香港科技大学(广州)和西湖大学研究人员联合开发的框架，通过结合测试时计算、强化学习和过程监督，为提升LLMs的推理能力开辟了新途径。尽管LLMs在语言生成方面取得了显著进展，但在处理数学、编程和科学问题等复杂任务时仍面临挑战。OpenR的出现正是为了弥补这一差距，将LLMs的能力从简单的文本生成拓展到更高级的推理领域。OpenR的设

最近，超长上下文窗口的大型语言模型（LLMs）成为了人们讨论的热点。这些模型能够在一个提示中处理数十万甚至上百万个标记，为开发者开启了许多新的可能性。不过，这些长上下文 LLM 到底能多好地理解和利用所接收到的大信息呢?为了解决这个问题，谷歌 DeepMind 的研究人员推出了名为 Michelangelo 的新基准，旨在评估长上下文推能力。研究结果表明，尽管当前的顶尖模型在从大量上下文数据中提取信息方面取得了一定进展，但在需要推理和理解数据结构的任务上仍然存在困难。随着长上

在 AI 的世界里，数据就像是金矿，越丰富越闪亮。最近，LLM360推出了一个令人瞩目的数据集 TxT360，专为大语言模型训练量身定做。这个庞然大物不仅收录了来自各行各业的高质量文本数据，更是经历了一场全球范围的去重大作战，最终汇聚成5.7万亿个优质 tokens，真可谓是 “数据界的百宝箱”!TxT360的魅力在于其超大的规模和超高的质量，完胜现有的 FineWeb 和 RedPajama 等数据集。这份数据集从99个 Common Crawl 快照中抓取了互联网的精华，同时还特别挑选了14个高质量的数据源，比如法律文档和

最近，Hugging Face 推出了一款全新的 Python 包，名为 “OpenAI-Gradio”，旨在帮助开发者快速创建 AI 驱动的网页应用。这个工具的发布标志着 AI 集成的一个重大转变，简化了使用 OpenAI 大型语言（LLM）的过程，让各种技能水平的开发者都能轻松上手。使用 OpenAI-Gradio，开发者可以在几分钟内启动他们的 AI 应用，只需几行代码。这款工具与 Gradio 深度整合，Gradio 是一个流行的机器学习应用接口工具。开发者只需安装这个包，设置他们的 OpenAI API 密钥，就能启动一个功能齐全的网页应用。这样，即