开源AI模型管理工具Pinokio发布3.0版本，带来界面自定义、包管理优化和浏览器自动化等重要新功能，进一步简化了用户在本地部署和运行开源AI模型的流程。Pinokio 现在显示每个应用程序使用的磁盘空间量。此次更新的核心亮点包括:界面定制功能全面升级，用户现在可以通过CSS代码自由调整起始页、应用页面和终端的外观;包管理系统切换到UV作为Python的原生包管理器，提升了新包安装速度;新增磁盘空间占用显示功能，方便用户管理已安装应用;错误提示系统得到优化，取代了此前模糊的"ENO

阿布扎比技术创新研究院（TII）发布新一代开源AI模型Falcon3，凭借14万亿token的训练量和优化的架构设计，在消费级硬件上的性能表现创下新纪录。这一训练规模是其前代产品Falcon2的两倍有余。Falcon3系列共推出四种规格:1B、3B、7B和10B，每种规格均提供基础版和针对对话优化的Instruct版本。尽管专门提供英语、法语、西班牙语和葡萄牙语版本，但各型号都能处理大多数常用语言。在Hugging Face的第三方语言模型评测中，Falcon3击败了包括Meta的Llama-3.1-8B、Qwen2.5-7B、Mistral的NeMo-12B和谷歌的Gemma2-9B在

近日，微软 AI 研究团队发布了开源工具 PromptWizard，这是一种基于反馈驱动的 AI 框架，旨在高效优化大型语言模型（LLM）的提示设计。提示的质量对于模型输出的优劣至关重要，然而，创建高质量的提示往往需要耗费大量的时间和人力资源，尤其是在复杂或特定领域的任务中。传统的提示优化方法多依赖人工经验，这种方式不仅耗时，而且难以扩展。现有的优化技术分为连续和离散两种。连续技术如软提示需要大量的计算资源，而离散方法如 PromptBreeder 和 EvoPrompt 则通过生成多种提示变体

2024年，随着AI生成搜索结果的兴起，许多网站的自然流量急剧下降。针对这一趋势，奥地利初创公司 Otterly 开发了一款专注于 AI 搜索可见性优化（AI Search Visibility Optimization）的工具，帮助企业和广告代理机构优化他们在生成式搜索结果中的存在。随着谷歌于5月推出 AI 概览（AI Overviews），搜索引擎用户可以直接在页面中获得回答，极大减少了对外部网站的点击。这一变化对依赖自然搜索流量的公司构成了严峻挑战。例如，一家 SaaS 公司通过 Otterly 发现，谷歌在 AI 概览中覆盖了其一半的 SEO

Yelp近日宣布推出一项新的AI功能——“评论洞察”，旨在帮助用户更高效地发现新餐厅，并缩小客户评论的筛选范围。这一功能是Yelp年终产品发布的一部分，利用人工智能技术对餐厅评论进行快速分析和总结，提供关于食品质量、服务、氛围和等待时间等方面的情绪评分。“评论洞察”通过面部图标（正面、中立、批评）展示餐厅评论的情绪概况，帮助用户快速浏览关于商家的不同方面的评价。用户可以点击某一特定主题，深入阅读相关评论，了解顾客对餐厅食物、服务等方面的反馈。Y

亚马逊正在彻底改变人工智能应用开发的游戏规则。通过为Bedrock AI服务推出自动提示词优化功能，这家科技巨头承诺用最小的用户成本，显著提升AI任务的性能。这一创新工具允许开发者通过单次API调用或在Amazon Bedrock控制台点击按钮，轻松优化多个AI模型的提示词。目前，该系统已支持包括Anthropic的Claude3、Meta的Llama3、Mistral Large和亚马逊自身的Titan Text Premier在内的多种领先AI模型。在开源数据集上的测试结果令人印象深刻。亚马逊宣布，这一优化工具在不同AI任务中取得了显著进步:文本摘

在 AI 的世界里，"大力出奇迹" 似乎成了金科玉律。模型越大，数据越多，算力越强，仿佛就能越接近智能的圣杯。然而，这狂飙突进的背后，也隐藏着巨大的成本和能耗压力。为了让 AI 训练更高效，科学家们一直在寻找更强大的优化器，就像一位教练，引导模型的参数不断优化，最终达到最佳状态。AdamW 作为 Transformer 预训练的默认优化器，多年来一直是业界标杆。然而，面对日益庞大的模型规模，AdamW 也开始显得力不从心。难道就没有一种方法，既能提升训练速度，又能降低能耗吗?别急

微软在年度Ignite会议上宣布推出新工具Azure AI Foundry，旨在简化云客户在构建和部署人工智能应用时的操作流程，并提升生成式AI的商业潜力。这一工具允许用户更轻松地在支持AI的大型语言模型间切换。例如，使用旧版OpenAI产品的客户可以尝试新版模型，或选择Mistral和Meta的替代方案。 图源备注：图片由AI生成，图片授权服务商Midjourney微软云计算主管Scott Guthrie表示，这一工具不仅支持混合匹配不同模型，还能帮助客户确保应用的稳定运行，并获得显著的投资回报。Azure AI Foundry将免费提供

Anthropic近日在其控制台（Console）推出了重要更新，为开发者带来了提示词优化和示例管理的全新功能。这一升级将帮助开发者更轻松地应用提示工程最佳实践，打造更可靠的AI应用。提示词质量直接影响着AI模型的输出效果。然而，不同模型平台的提示词最佳实践各不相同，优化过程往往耗时费力。针对这一痛点，Anthropic推出的提示词优化器可以自动运用先进的工程技术来完善现有提示词，特别适合优化为其他AI模型编写的提示词或手写提示词。具体来说，优化器通过五大方法来增强提示词

近日，Red Hat （红帽公司）宣布收购 AI 优化初创企业 Neural Magic，此次交易的具体条款尚未披露。红帽是一家隶属于 IBM 的开源软件公司，致力于推动企业的技术进步和创新。Neural Magic 成立于2018年，创始人是麻省理工学院的研究科学家 Alex Matveev 和教授 Nir Shavit。该公司的软件旨在优化人工智能模型，使其能够在普通处理器和 GPU 上以接近专用 AI 芯片（例如 TPU）的速度运行。通过在常见的处理器上运行 AI 模型，Neural Magic 的软件能够利用更大的内存，从而实现性能的提升。在 AI 优化领域，许

Meta FAIR、加州大学伯克利分校和纽约大学的研究人员联合推出了一种全新技术，名为思维偏好优化（TPO）。这项创新旨在提升大语言模型(LLM)在处理指令时的回答质量。与传统模型只关注最终答案不同，TPO 允许模型在给出最终回答之前，先进行内部思考和反思，从而生成更准确和连贯的回答。TPO 技术的核心是改进后的连锁思维（CoT）推理方法。这种方法在训练过程中鼓励模型 “思考一下再回答”，帮助它们在提供最终答案之前，构建更有条理的内在思维过程。传统的 CoT 提示有时会导致准

近日，Meta AI 的研究团队与加州大学伯克利分校及纽约大学的研究人员合作，推出了一种名为思维偏好优化（Thought Preference Optimization， TPO）的方法，旨在提升经过指令微调的大型语言模型(LLM)的回应质量。与传统模型仅关注最终答案不同，TPO 方法允许模型在生成回应前进行内部思考，从而产生更加准确和连贯的回答。这种新技术结合了改进版的思维链（Chain-of-Thought， CoT）推理方法。在训练过程中，该方法鼓励模型在回应前先进行 “思考”，帮助其构建更为系统的内部思维过程。以往的直

近日，有媒体报道称，微信正在对AI问答功能进行灰度测试，部分用户可以通过微信搜索框输入问题来触发AI问答功能。AI问答能在大约20秒内生成约400字的回答，并提供5个来自微信公众号的参考资料。测试结果显示，AI问答功能目前主要引用微信公众号作为参考资料。

Meta Platforms今日发布其Llama模型的全新精简版本，包括Llama3.21B和3B两款产品，首次实现了大规模语言模型在普通智能手机和平板电脑上的稳定运行。通过创新性地整合量化训练技术与优化算法，新版本在保持原有处理质量的同时，将文件体积缩减56%，运行内存需求降低41%，处理速度更是提升至原版4倍，单次可连续处理8，000字符文本。在 Android 手机上进行测试时，Meta 的压缩 AI 模型（SpinQuant 和 QLoRA）与标准版本相比，速度和效率都有显著提升。较小的模型运行速度提高了四倍，而内存占用却

最近，Meta、加州大学伯克利分校和纽约大学的科学家们合作研发了一种新技术，名为 “思维偏好优化”（Thought Preference Optimization，简称 TPO）。这项技术的目标是提升大型语言模型(LLMs)在执行各种任务时的表现，让 AI 在回答之前更加仔细地考虑自己的反应。研究人员表示，“思考” 应该具有广泛的实用性。比如，在创意写作任务中，AI 可以利用内在的思维过程来规划整体结构和角色发展。这种方法与以往的 “链式思考”（Chain-of-Thought，CoT）提示技术有显著不同。后者主要应用于数学和

随着人工智能越来越多地融入企业的工作流程和产品，市场上对机器学习操作平台（MLOps）的需求也在不断上升。这类平台帮助企业更轻松地创建、测试和部署机器学习模型。然而，尽管市场上已有不少竞争者，比如 InfuseAIComet 等创业，以及谷歌云、Azure 和 AWS 等大公司，南韩的 VESSL AI 却希望通过聚焦 GPU 费用的优化，找到自己的发展空间。图源备注：图片由AI生成，图片授权服务商Midjourney最近，VESSL AI 成功完成了一轮1200万美元的 A 轮融资，旨在加速其基础设施的发展，主要服务那些希望

日本的电动垂直起降（eVTOL）汽车制造商 SkyDrive 最近宣布，他们正在与 Braid Technologies 合作，利用人工智能来优化其飞行汽车的设计。通过 AI 技术，SkyDrive 能够生成数千种设计模式，帮助微调其电动飞行器的结构，使其更加高效。图源备注：图片由AI生成，图片授权服务商MidjourneySkyDrive 的首席开发官 Arnaud Coville 表示，他们与 Braid 的合作旨在寻找新的方法来提升下一代 eVTOL 的性能。他们并没有使用传统的拓扑优化技术，而是采用了更先进的创新技术，能够处理影响结构重量的各种参数。这

在打印机领域，HP 最近的创新举措引发了广泛关注。没错，他们不是在改善频繁的纸张卡住问题，也不是在考虑如何让你更容易使用便宜的第三方墨水，而是将人工智能技术引入打印机，为用户带来了全新的打印体验。这项名为 “HP Print AI” 的新功能目前已进入独家测试阶段，充满了期待。首先，它推出了 “完美输出” 功能，旨在改善网页打印效果。过去，打印网页内容常常会因为广告、奇怪的格式等原因，导致打印结果不尽如人意。而这个新功能能够自动识别并去除这些不必要的内容

Nous Research 团队发布了一种名为 DisTrO 的新优化器，旨在降低分布式互联网训练中的信息传输需求，显著提升 AI 模型训练效率。DisTrO 可以在普通网络条件下进行训练，允许全球个人和机构通过自家电脑参与 AI 开发，打破了大公司垄断 AI 训练的局面。相较于传统算法 All-Reduce，DisTrO 效率提升高达 857 倍，每步训练所需传输的信息量从 74.4GB 降低到 86.8MB。这项技术使 AI 训练成本降低，让更多人能够参与，并减少了对高性能 GPU 的依赖，使得训练在速度较慢的互联网连接下也能进行。通过 DisTrO，研究人员和机构能够更自由地进行创新和实验，推动技术进步，惠及社会。该技术的开放性使得 AI 模型训练变得更加灵活，支持全球分散的 GPU 协同工作，减少了对大型数据中心的需求，对环境影响更小。DisTrO 的应用不仅限于大型语言模型，还适用于其他类型的 AI 训练，为未来 AI 发展提供了新的可能性。

Transformer架构作为人工智能领域的明星，以自注意力机制为核心，引领了自然语言处理的革新。然而，处理长上下文时，自注意力计算的资源消耗成为瓶颈。为解决这一问题，研究人员提出Tree Attention方法，通过树状归约分解计算任务，提高效率。此方法不仅减少了通信量和内存使用，且在多GPU环境下比现有方法快8倍。Tree Attention的提出不仅优化了长文本处理，还为Transformer模型的内部机制提供了新的理解视角，预示着在AI研究和应用中具有广泛潜力。