Hugging Face今天发布了SmolLM2，一组新的紧凑型语言模型，实现了令人印象深刻的性能，同时所需的计算资源比大型模型少得多。新模型采用Apache2.0许可发布，有三种大小——135M、360M和1.7B参数——适合部署在智能手机和其他处理能力和内存有限的边缘设备上。SmolLM2-1B模型在几个关键基准测试中优于Meta的Llama1B模型，尤其是在科学推理和常识任务中表现出色。该模型在大多数认知基准上的表现都优于大型竞争模型，使用了包括FineWeb-Edu和专门的数学和编码数据集在内的多样化数据集组合。SmolL

近日，AMD 发布了其最新的 Strix Point APU 系列，强调该系列在 AI 大语言模型（LLM）应用中的出色表现，远超英特的 Lunar Lake 系列处理器。AI 工作负载需求的不断增长，硬件的竞争愈发激烈。为了应对市场，AMD 推出了为移动平台设计的 AI 处理器，旨在更高的性能更低的延迟。AMD 表示，ix Point 系列的 Ryzen AI300处理器在处理 AI LLM 任务时，能够显著提高每秒处理的 Tokens 数量，相较于英特尔的 Core Ultra 258V，Ryzen AI9375的性能提升达到了27%。虽然 Core Ultra7V 并不是 L Lake 系列中最快型号，但其核心和线

近日，CareYaya Health Technologies 推出了一款名为 MedaCareLLM 的人工智能（AI）驱动大型语言模型，旨在帮助痴呆症和阿尔茨海默病患者改善日常生活。这项技术集成于智能眼镜中，通过视频数据和面部及物体识别技术，为患者提供实时的 “生活改变” 帮助。当患者佩戴这款智能眼镜时，AI 可以识别出熟悉的面孔。识别后，系统会将该人的信息转化为提示，通过骨传导耳机或助听器直接传递到佩戴者的耳朵中。这一功能帮助患者克服因记忆丧失而产生的困惑和尴尬，使他们更容易识别家人和朋友

Meta 近日宣布，其 MobileLLM 模型现已向研究人员开放，用户可在 Hugging Face 平台上免费下载并使用这些模型，这些模型已与 Transformers 库全面集成。这一举措旨在推动移动设备上的大型语言模型（LLM）的研究和开发，为开发者和学术界提供更广泛的工具与资源。MobileLLM 是 Meta 在移动 AI 领域的重要进展。它的推出标志着 Meta 在降低大型语言模型使用门槛方面的重要一步。这些模型能够在移动设备上运行，使得开发者能够在更广泛的应用场景中利用 AI 技术。研究人员现在可以直接在自己的项目

近日，在LLM大模型榜单上引发关注的神秘模型red_panda（小熊猫）终于揭开面纱，该模型实为英国人工智能初创公司Recraft AI推出的最新图像生成模型Recraft V3。据悉，自以red_panda化名发布以来，Recraft V3已收获超过10万次投票，在Artificial Analysis排行榜上以1172的ELO评分领先其他模型。值得注意的是，Artificial Analysis图像竞技场累计已有超过100万次投票，其ELO评分系统被视为评估图像生成模型的重要独立指标。Recraft V3的突出特点在于其强大的长文本图像生成能力，不再局限于单个或少量词语的图像

最近，Meta AI 团队带来了 LongVU，这是一种新颖的时空自适应压缩机制，旨在提升长视频的语言理解能力。传统的多模态大型语言模型（MLLMs）在处理长视频时面临着上下文长度的限制，而 LongVU 正是为了解决这一难题而诞生。LongVU 的工作原理主要通过过滤重复帧、跨帧token压缩等方法来高效使用上下文长度，能够在保持视频视觉细节的同时减少视频中的冗余信息。具体来说，团队使用 DINOv2的特征来剔除那些高度相似的冗余帧。接着，通过文本引导的跨模态查询，实现了选择性地减少帧特征

近日，网络安全公司 Palo Alto Networks 的 Unit42研究团队发布了一项令人瞩目的研究，揭露了一种名为 “Deceptive Delight”的新型越狱方法。这个方法能够在仅仅两到三次交互中，就成功诱导大型语言模型（LLM）生成有害内容，其成功率高达65%。这一发现为保护 LLM 的安全性敲响了警钟。图源备注：图片由AI生成，图片授权服务商Midjourney研究团队在测试中分析了多达8000个案例，并评估了八种不同的语言模型。在这个越狱技术的第一步，攻击者首先会要求 LLM 生成一个叙述，这个叙述包含两个无害

一个名为OpenR的创新开源框架近日问世，旨在解决大型语言模型（LLMs）在复杂推理任务中的短板。这一由伦敦大学学院、利物浦大学、上海交通大学、香港科技大学(广州)和西湖大学研究人员联合开发的框架，通过结合测试时计算、强化学习和过程监督，为提升LLMs的推理能力开辟了新途径。尽管LLMs在语言生成方面取得了显著进展，但在处理数学、编程和科学问题等复杂任务时仍面临挑战。OpenR的出现正是为了弥补这一差距，将LLMs的能力从简单的文本生成拓展到更高级的推理领域。OpenR的设

最近，超长上下文窗口的大型语言模型（LLMs）成为了人们讨论的热点。这些模型能够在一个提示中处理数十万甚至上百万个标记，为开发者开启了许多新的可能性。不过，这些长上下文 LLM 到底能多好地理解和利用所接收到的大信息呢?为了解决这个问题，谷歌 DeepMind 的研究人员推出了名为 Michelangelo 的新基准，旨在评估长上下文推能力。研究结果表明，尽管当前的顶尖模型在从大量上下文数据中提取信息方面取得了一定进展，但在需要推理和理解数据结构的任务上仍然存在困难。随着长上

在 AI 的世界里，数据就像是金矿，越丰富越闪亮。最近，LLM360推出了一个令人瞩目的数据集 TxT360，专为大语言模型训练量身定做。这个庞然大物不仅收录了来自各行各业的高质量文本数据，更是经历了一场全球范围的去重大作战，最终汇聚成5.7万亿个优质 tokens，真可谓是 “数据界的百宝箱”!TxT360的魅力在于其超大的规模和超高的质量，完胜现有的 FineWeb 和 RedPajama 等数据集。这份数据集从99个 Common Crawl 快照中抓取了互联网的精华，同时还特别挑选了14个高质量的数据源，比如法律文档和

最近，Hugging Face 推出了一款全新的 Python 包，名为 “OpenAI-Gradio”，旨在帮助开发者快速创建 AI 驱动的网页应用。这个工具的发布标志着 AI 集成的一个重大转变，简化了使用 OpenAI 大型语言（LLM）的过程，让各种技能水平的开发者都能轻松上手。使用 OpenAI-Gradio，开发者可以在几分钟内启动他们的 AI 应用，只需几行代码。这款工具与 Gradio 深度整合，Gradio 是一个流行的机器学习应用接口工具。开发者只需安装这个包，设置他们的 OpenAI API 密钥，就能启动一个功能齐全的网页应用。这样，即

法国AI初创公司Mistral于9月17日宣布了一系列重大更新，意在吸引开发者并扩大其市场份额。这家估值60亿美元的公司推出的新举措包括免费测试套餐、大幅降价和新增多模态功能，展现了其在日益激烈的AI模型提供商领域的进取心。Mistral通过其API服务平台la Plateforme推出了免费套餐，允许开发者无偿试验、评估和制作原型。尽管生产环境使用可能需要升级到付费商业层级，但此举无疑降低了开发者的入门门槛。这一趋势与OpenAI和Google等巨头的策略相似，反映了高级大型语言模型（LLM）在开发

AnythingLLM 是一款由Mintplex Labs开发的面向所有人的本地人工智能应用程序，旨在简化AI技术的使用，降低门槛。它无需昂贵的云端服务或复杂的模型部署，集成了RAG、向量数据库和代理功能，支持Llama、Mistral等开源模型，以及企业级模型如GPT-4。适用于企业、学术和法律领域，提供多种文件格式支持，确保数据隐私，支持本地运行和云端服务，提供定制化体验。用户可通过官网下载桌面版或使用云端服务，选择模型、上传文件、设置参数，进行高效分析与处理。AnythingLLM通过其全面的隐私保护措施，提供了一个灵活、高效且安全的AI解决方案。

Not Diamond 是一款创新的 AI 模型路由器，专为自动确定最适合响应特定查询的 LLM 而设计。通过将多个 LLM 组合成元模型并学习何时调用每个模型，Not Diamond 能在保证高质量响应的同时显著提高处理效率。这一自动化智能路由机制减少了人工选择模型的时间，确保每次查询都能得到优化的响应。Not Diamond 的功能亮点包括多模型支持、性能卓越、自定义模型训练、快速响应、智能权衡、隐私保护以及开发者友好。适用于从旅行规划到技术报告分析、内容创作等各类场景。通过访问其官网注册账号，用户可以轻松开始使用 Not Diamond，根据任务需求选择模型、输入指令，然后获取处理结果。Not Diamond 还提供 API 密钥调用选项，支持用户进行个性化设置和监控模型性能，以适应不同需求。

研究员Naphtali Deutsch发现数百个开源大型语言模型(LLM)构建服务器和几十个向量数据库存在泄露大量敏感信息的问题，这源于企业在急于整合AI到工作流程中时忽视了相关工具的安全性。他通过破解438个Flowise服务器，揭示了存储的敏感数据，包括GitHub访问token、OpenAI API密钥、Flowise密码和API密钥等。此外，他还发现了30个向量数据库没有任何身份验证检查，存储了包括私人邮件、文件、客户个人信息和财务数据等敏感信息。向量数据库的泄露风险更大，可能遭受数据窃取、删除、破坏或植入恶意软件。专家建议企业限制对AI服务的访问，监控活动，保护传输的敏感数据，并始终应用软件更新。强调随着AI工具的普及，开发者的安全知识不足，安全性往往滞后于技术发展。

Andrej Karpathy提出，基于人类反馈的强化学习（RLHF）可能并非AI通往人类级别问题解决能力的最终解决方案。他以AlphaGo为例，指出真正的强化学习技术通过不断自我对弈优化神经网络，最终在没有人类干预的情况下超越人类。相比之下，RLHF更像是模仿人类偏好而非解决问题，且在定义明确奖励机制的封闭环境如围棋中有效，在开放性任务如文章总结、代码重写等中面临挑战。Karpathy认为，虽然实现这一目标面临困难，但解决这一难题将使语言模型具备真正的问题解决能力，与Google DeepMind的论文观点不谋而合，该论文强调开放性是通用人工智能的基础。这一观点引发了广泛讨论，聚焦于AI如何真正提升解决问题的能力而非简单模仿人类行为。

Reddit用户@zefman设计了一个实验，让不同语言模型实时对战国际象棋，以有趣的方式评估它们的表现。GPT-4o在实验中脱颖而出，成为最强选手，优于Claude和Gemini等模型。通过比较每个模型的决策过程，发现它们分析棋局的方式各有特点。实验采用统一提示确保公平比较，允许模型在选择错误走法时有5次重新选择机会。结论是GPT-4o在国际象棋对弈中表现出色，击败了Gemini1.5pro，展现了语言模型在策略游戏中的潜力。

自然语言处理领域中，大型语言模型在复杂任务上表现出色，但模型评估高度依赖昂贵且耗时的人类注释数据，且随着模型进步，原有数据的效用下降，需持续收集新数据以维持评估的规模化与可持续性。Meta FAIR 研究团队针对这一问题提出“Self-Taught Evaluator”（自学评估器），这一创新方法通过合成数据进行训练，无需依赖人类注释。通过生成对比的合成偏好对，模型自我评估与迭代改进，显著提高了模型在 RewardBench 基准上的准确率，从75.4提升至88.7，甚至超越了使用人类注释训练的模型。经过多次迭代，最终模型在单次推理中达到88.3的准确率，多数投票下达到88.7，展现出强大的稳定性和可靠性。此方法为 NLP 模型评估提供了可扩展且高效的解决方案，通过利用合成数据和迭代自我改进，有效应对了依赖人类注释的挑战，推动了语言模型的发展。

近期，全球范围内对“9.11比9.9大吗?”这一看似简单问题的讨论，揭示了当前大型语言模型（LLM）在处理简单逻辑问题时的失误，这一现象被称为“锯齿智能”或“参差不齐的智能”。专家Andrej Karpathy指出，虽然LLM能够解决复杂任务，但在某些简单问题上表现不佳，这反映了模型智能的不均衡性。例如，OpenAI研究员Noam Brown发现LLM在井字棋游戏中的决策错误，以及LLM在数字母数量计算上的失误。Karpathy认为，这源于模型的“毫无道理”决策和缺乏“自知之明”。为解决这一问题，Meta发布的Llama3.1论文提出了在后训练阶段实现模型对齐，通过“知识探测”训练方式鼓励模型只回答自己了解的问题，以此提高模型的智能水平。Karpathy强调，当前AI训练方法需在开发栈中进行更多工作，以提升AI能力。在AI用于生产环境前，应确保其专注于擅长的任务，保持人类的参与度，以充分利用AI潜力，同时规避风险。

文章主要探讨了人工智能领域中，尤其是大型语言模型(LLMs)的计算与存储挑战。随着AI能力的提升，如Bloom模型的出现，所需的计算资源和存储空间显著增加，导致成本高企和普及性问题。为解决这一问题，研究者引入了“量化”技术，通过降低模型权重和激活的精度来减小模型体积和加速运行速度，同时控制可能的准确性损失。文章重点介绍了由北京航空航天大学和商汤科技合作开发的LLMC工具包，它提供了多样化的量化方法、低成本的实现方案以及高兼容性的特点，旨在帮助研究者和开发者优化大型语言模型，实现模型的轻量化和节能化。通过LLMC工具包，AI模型可以在保持高效性能的同时，降低资源消耗，推动大型语言模型的普及应用。此外，文章还提出了在选择训练数据、量化算法以及整数或浮点数量化方面的策略建议，以进一步优化模型性能。LLMC工具包的问世，为AI领域提供了新的优化工具，有望促进更轻量级、高效能AI应用的发展。