在人工智能技术快速发展的今天，如何在各种硬件上实现高效的模型推理成为了开发者们的一项重要挑战。最近，开发者 Andrei David 从一台近二十年的 Xbox360游戏机中找到了灵感，他成功地将 Meta AI 的 Llama LLM 系列中的一款轻量级模型 ——llama2.c 移植到这台老旧的游戏机上。David 在社交媒体平台 X 上分享了他的这一成就，称他面对的挑战非常巨大。Xbox360的 PowerPC CPU 采用了 big-endian 架构，这意味着在模型的配置和权重加载时，必须进行大量的 endian 性转换。此外，David 还需要对原始代码进行

近期，纽约大学的研究团队发表了一项研究，揭示了大规模语言模型（LLM）在数据训练中的脆弱性。他们发现，即使是极少量的虚假信息，只需占训练数据的0.001%，就能导致整个模型出现重大错误。这一发现对于医疗领域尤其引人关注，因为错误的信息可能直接影响患者的安全。图源备注：图片由AI生成，图片授权服务商Midjourney研究人员在《自然医学》杂志上发表的论文中指出，虽然 LLM 表现出色，但如果其训练数据中被注入了虚假信息，这些模型依然可能在一些开放源代码的评估基准上

随着用户体验的提升和留存率的增强，推荐系统在电商、流媒体和社交媒体等多个行业中愈发受到重视。这些系统需要分析用户、商品及其背景因素之间的复杂关系，以精准地推荐用户可能感兴趣的内容。然而，现有的推荐系统往往是静态的，依赖于大量历史数据来有效地构建这些关系。在 “冷启动” 场景下，这种关系的构建几乎变得不可能，进一步削弱了系统的效果。为了解决这些问题，来自上海交通大学和华为诺亚方舟实验室的研究人员推出了 AutoGraph 框架。该框架能够自动构建图，

在专业环境中，图形用户界面（GUI）代理面临着三大关键挑战。首先，专业应用程序的复杂性远高于一般软件，要求对复杂布局有深入理解;其次，专业工具通常具备更高的分辨率，导致目标尺寸较小，从而降低了定位准确性;最后，工作流程往往依赖于额外工具和文档，增加了操作的复杂性。这些挑战凸显了开发更先进的基准和解决方案以提升 GUI 代理在这些严苛场景中的性能的必要性。目前的 GUI 定位模型和基准无法满足专业环境的要求。例如，ScreenSpot 等工具设计主要用于低分辨率任务

在当今科技迅速发展的背景下，大型语言模型（LLM）在多个行业中扮演着重要角色，帮助自动化任务和提升决策效率。然而，在芯片设计等专业领域，这些模型面临着独特的挑战。NVIDIA 最近推出的 ChipAlign 正是为了应对这些挑战而设计，旨在将通用指令对齐的 LLM 与芯片特定的 LLM 的优势相结合。ChipAlign 采用了一种新的模型合并策略，这一策略无需进行繁琐的训练过程，借助几何空间中的测地线插值方法，能够顺畅地将两种模型的能力融合在一起。与传统的多任务学习方式相比，ChipAlign 直

学术同行评审是科学进步的基石，但随着投稿数量的激增，这一系统正面临巨大压力。为了缓解这一问题，人们开始尝试利用大型语言模型（LLM）进行辅助审稿。然而，一项最新研究揭示了LLM审稿中存在的严重风险，表明我们可能还未做好广泛采用LLM审稿的准备。上海交通大学的研究团队通过实验发现，作者可以通过在论文中嵌入细微的操控性内容来影响LLM的评审结果。这种操控可以是显性的，例如在论文末尾添加不易察觉的白色小字，指示LLM强调论文的优点并淡化缺点。实验表明，这种

大型语言模型 (LLM) 在自然语言处理 (NLP) 领域取得了显著进展，使其在文本生成、摘要和问答等应用中大放异彩。然而，LLM 对令牌级处理（一次预测一个词）的依赖也带来了一些挑战。这种方法与人类的交流方式形成对比，后者通常在更高层次的抽象层面运作，例如句子或想法。令牌级建模在需要长上下文理解的任务中也显得力不从心，并可能产生不一致的输出。此外，将这些模型扩展到多语言和多模态应用中，在计算上成本高昂，且需要大量数据。为了解决这些问题，Meta AI 的研究人员

红帽公司近日发布了其企业级 Linux 人工智能平台 RHEL AI 的最新版本1.3，该版本新增了对 IBM Granite 大型语言模型（LLM）的支持，并预览了对 Intel Gaudi3加速器的支持。这一更新为红帽的服务合作伙伴和系统集成商带来了更多的机会，帮助企业更有效地探索和整合人工智能应用。红帽 AI 业务部门副总裁兼总经理乔・费尔南德斯表示，服务合作伙伴和系统集成商在帮助公司实现不同的应用案例方面扮演着重要角色。他指出，生成式人工智能的复杂性使得这些合作伙伴能够为客户提供更具成本效益

在2024年 AWS re:Invent 大会上，亚马逊网络服务（AWS）宣布推出基于 Trainium2芯片的 Amazon Elastic Compute Cloud(EC2)实例，正式提供给用户。这新实例在价格性能方面相比于上一代基于 GPU 的 EC2实例提升了30-40%。AWS 首席执行官马特・加曼表示:“，我很高兴地宣布 Trainium2驱动的 Amazon EC2Trn2实例的正式发布。”除了 Trn2实例外，AWS 还推出了 Trn2UltraServers，并展示了下一代 Trainium3AI 芯片。Trn2实例配备了16个 Trainium2芯片，能够提供高达20.8petaflops 的计算性能，专为训练和部署具有数十亿参数的大型语言模型

最近，AI 大型语言模型（LLM）在各种任务中表现出色，写诗、写代码、聊天都不在话下，简直是无所不能!但是，你敢相信吗?这些“天才”AI 居然是“数学菜鸟”!它们在处理简单的算术题时经常翻车，让人大跌眼镜。一项最新的研究揭开了 LLM 算术推理能力背后的“奇葩”秘诀:它们既不依赖强大的算法，也不完全依靠记忆，而是采用了一种被称为“启发式大杂烩”的策略! 这就好比一个学生，没有认真学习数学公式和定理，而是靠着一些“小聪明”和“经验法则”来蒙答案。研究人员以算

随着 ServiceTitan 向美国证券交易委员会提交首次公开募股（IPO）申请文件，该公司在风险因素部分特别提到了大型语言模型(LLMs)可能带来的潜在风险。此类警告或许标志着未来 IPO 文档中的新标准:使用 AI 技术的同时也伴随风险。在 ServiceTitan 的申请文件中，有一段长达1150字的风险提示，详细阐述了其使用生成性 AI 的可能负面影响。公司警告称，LLMs 可能产生 “虚假” 信息，并可能表现出 “歧视性” 行为。此外，使用这些模型可能涉及侵犯他人的版权或知识产权，而在数据的使用上，若不

在当今科技领域，CLIP（Contrastive Language-Image Pre-training）是一个重要的多模态基础模型。它通过在大规模图像 - 文本对上使用对比学习损失，将视觉信号和文本信号结合到一个共享的特征空间中。CLIP 作为检索器，能够支持零 - shot 分类、检测、分割和图像 - 文本检索等多种任务。同时，作为特征提取器，它在几乎所有跨模态表示任务中占据主导地位，例如图像理解、视频理解以及文本到图像或视频生成。CLIP 的强大之处在于它能够将图像与自然语言相连接，并捕捉人类知识，这得益于其在大

微软近期发布了一款引人注目的 Python 库 ——TinyTroupe，这是一种基于大型语言模型（LLM）的多智能体人格模拟工具。TinyTroupe 中的智能体被称为 TinyPersons，它们可以在模拟的环境中进行互动和交流。通过利用强大的大型语言模型（LLM），尤其是 GPT-4，TinyTroupe 可以生成逼真的模拟行为，让用户得以探索各种消费者类型和互动方式。简单的说就是，TinyTroupe 亮点在于它能够模拟具备特定性格、兴趣和目标的虚拟角色，从而为企业在商业决策和市场研究方面提供全新的视角。使用 TinyTroupe，用户

通义千问团队近日宣布开源其最新的Qwen2.5-Coder全系列，这一举措旨在推动Open Code LLMs的发展。Qwen2.5-Coder以其强大、多样和实用性受到关注。Qwen2.5-Coder-32B-Instruct模型在代码能力上达到了SOTA水平，与GPT-4o相当，展现出全面的能力

安德森·霍洛维茨基金合伙人贾斯汀·摩尔最近在X上介绍了一项新的投资理念，支持“由LLMs 和代理人打造的新一波‘育儿副驾驶’”。她提到了Cradlewise等公司，该公司生产一种人工智能婴儿监视器，可以检测婴儿的睡眠模式并摇动婴儿床，而Nanit则使用人工智能处理婴儿床录像来判断婴儿是否在呼吸。图源备注:图片由AI生成，图片授权服务商Midjourney摩尔写道:“想象一下，一个人工智能育儿伴侣始终陪伴在你身边——随时准备回答你的问题或谈论你在白天（或晚上）的任何时候的感受。”

Hugging Face今天发布了SmolLM2，一组新的紧凑型语言模型，实现了令人印象深刻的性能，同时所需的计算资源比大型模型少得多。新模型采用Apache2.0许可发布，有三种大小——135M、360M和1.7B参数——适合部署在智能手机和其他处理能力和内存有限的边缘设备上。SmolLM2-1B模型在几个关键基准测试中优于Meta的Llama1B模型，尤其是在科学推理和常识任务中表现出色。该模型在大多数认知基准上的表现都优于大型竞争模型，使用了包括FineWeb-Edu和专门的数学和编码数据集在内的多样化数据集组合。SmolL

近日，AMD 发布了其最新的 Strix Point APU 系列，强调该系列在 AI 大语言模型（LLM）应用中的出色表现，远超英特的 Lunar Lake 系列处理器。AI 工作负载需求的不断增长，硬件的竞争愈发激烈。为了应对市场，AMD 推出了为移动平台设计的 AI 处理器，旨在更高的性能更低的延迟。AMD 表示，ix Point 系列的 Ryzen AI300处理器在处理 AI LLM 任务时，能够显著提高每秒处理的 Tokens 数量，相较于英特尔的 Core Ultra 258V，Ryzen AI9375的性能提升达到了27%。虽然 Core Ultra7V 并不是 L Lake 系列中最快型号，但其核心和线

近日，CareYaya Health Technologies 推出了一款名为 MedaCareLLM 的人工智能（AI）驱动大型语言模型，旨在帮助痴呆症和阿尔茨海默病患者改善日常生活。这项技术集成于智能眼镜中，通过视频数据和面部及物体识别技术，为患者提供实时的 “生活改变” 帮助。当患者佩戴这款智能眼镜时，AI 可以识别出熟悉的面孔。识别后，系统会将该人的信息转化为提示，通过骨传导耳机或助听器直接传递到佩戴者的耳朵中。这一功能帮助患者克服因记忆丧失而产生的困惑和尴尬，使他们更容易识别家人和朋友

Meta 近日宣布，其 MobileLLM 模型现已向研究人员开放，用户可在 Hugging Face 平台上免费下载并使用这些模型，这些模型已与 Transformers 库全面集成。这一举措旨在推动移动设备上的大型语言模型（LLM）的研究和开发，为开发者和学术界提供更广泛的工具与资源。MobileLLM 是 Meta 在移动 AI 领域的重要进展。它的推出标志着 Meta 在降低大型语言模型使用门槛方面的重要一步。这些模型能够在移动设备上运行，使得开发者能够在更广泛的应用场景中利用 AI 技术。研究人员现在可以直接在自己的项目

近日，在LLM大模型榜单上引发关注的神秘模型red_panda（小熊猫）终于揭开面纱，该模型实为英国人工智能初创公司Recraft AI推出的最新图像生成模型Recraft V3。据悉，自以red_panda化名发布以来，Recraft V3已收获超过10万次投票，在Artificial Analysis排行榜上以1172的ELO评分领先其他模型。值得注意的是，Artificial Analysis图像竞技场累计已有超过100万次投票，其ELO评分系统被视为评估图像生成模型的重要独立指标。Recraft V3的突出特点在于其强大的长文本图像生成能力，不再局限于单个或少量词语的图像