最近，Answer.AI 和 LightOn 联合发布了开源语言模型 ModernBERT，这是对谷歌 BERT 的重大升级。根据开发者的介绍，ModernBERT 在处理速度、效率和质量上都有了显著提升。该模型可以比其前身快四倍，同时使用更少的内存。ModernBERT 的设计允许它处理长达8192个标记的文本，这比现有编码模型的典型512标记限制提高了16倍。此外，ModernBERT 还是首个经过广泛训练的编程代码编码模型，它在 StackOverflow 问答数据集上的得分超过80，创造了编码模型的新纪录。在通用语言理解评估（GLUE）中，ModernBERT-Large

近日，苹果公司在机器学习领域的最新研究显示，他们通过与 NVIDIA 的合作，成功将大型语言模型（LLM）的生成速度提高了近三倍。这一进展的关键在于苹果开源的技术 “Recurrent Drafter”(ReDrafter)，它采用了一种推测解码方法，能够显著提升模型训练的效率。在过去，创建大型语言模型的过程通常非常耗时和耗资源，企业常常需要购买大量的硬件设备，进而增加了运营成本。2024年早些时候，苹果发布了 ReDrafter，这一技术结合了递归神经网络和动态树关注的方法，能够快速生成和验证标记，

知名AI绘图平台Midjourney近日宣布一项重磅福利计划——“Relax马拉松”活动，即日起至2024年底，用户仅需支付10美元，即可在Relax模式下无限制生成图像，包括变体制作和参考图生成等基础功能，而图片生成的速度也大幅提升，几乎实现“立等可取”。此次活动是为了充分利用为明年新模型购置的大量服务器资源，目前这些服务器暂时处于闲置状态。Midjourney因此决定面向所有用户开放，无论是普通用户还是基础会员，都可以参与这一福利活动。这项举措尤其适合节日贺卡设计、新年创意开

据高盛（Goldman Sachs）最新发布的报告显示，截至2024年第四季度，只有6.1% 的美国企业将人工智能(AI)技术纳入其运营中，这一比例相比于前一季度的5.9% 略有上升。这一数据反映出，尽管 AI 技术的潜力巨大，但在美国企业中，AI 的实际应用仍然缓慢推进。图源备注:图片由AI生成，图片授权服务商Midjourney报告指出，尽管信息技术、教育和制造等行业的 AI 采纳率有所下降，但银行和保险行业则在 AI 集成方面走在前列。尤其是拥有250名以上员工的大型企业，报告显示其 AI 采纳率达到了10%。高盛

曾主导Snapchat“My AI”聊天机器人开发的深度学习科学家艾伦·贝克尔博士，近日再次出山，创立了一家名为eSelf的新公司。这家初创企业致力于打造实时、视频化的对话式AI助手平台，并成功获得450万美元的种子轮融资，正式加入这场AI助手领域的激烈角逐。eSelf的早期目标是为教育、销售、金融服务、房地产以及健康保健等垂直领域提供更具真实感和互动性的AI助手。他们的核心竞争力在于其AI助手极速的响应时间——查询或交互响应时间仅需1.7秒，据称远超OpenAI等领先公司。更令人惊喜的

科技巨头谷歌的AI研究部门近日推出了Gemini AI模型的最新迭代——Gemini2.0Flash。这款新模型在性能上进行了显著提升，特别是在处理速度和多模态功能扩展方面。官方表示，全球 Gemini 用户可以通过在桌面和移动 Web 的模型下拉列表中选择2.0Flash 实验版来访问聊天优化版本，并且它很快就会在 Gemini 移动应用程序中提供。明年年初，会将 Gemini2.0扩展到更多 Google 产品。Gemini2.0Flash的一个关键发展是其增强的处理速度。谷歌表示，新模型的运行速度是前代Gemini1.5Pro的两倍，同时在各种基准测试中

IBM 在纽约约克城宣布了一项重大的光学技术突破，该技术将显著数据中心在训练和运行生成式人工（AI）模型时的效率。IBM 的研究人员开发了一种新型的共封装光学技术（CPO），这项技术能够利用光速实现数据中心内部的连接，从而替代目前使用的铜电缆。尽管光纤技术已在全球商业和通信中广泛应用，但大多数数据中心内部仍依赖于铜电缆进行短距离通讯。这导致 GPU 加速器在训练过程中常常处于闲置状态，浪费大量的时间和能源 IBM 的研究团队展示了如何将光的速度和容量引入数据中

在 AI 的世界里，"大力出奇迹" 似乎成了金科玉律。模型越大，数据越多，算力越强，仿佛就能越接近智能的圣杯。然而，这狂飙突进的背后，也隐藏着巨大的成本和能耗压力。为了让 AI 训练更高效，科学家们一直在寻找更强大的优化器，就像一位教练，引导模型的参数不断优化，最终达到最佳状态。AdamW 作为 Transformer 预训练的默认优化器，多年来一直是业界标杆。然而，面对日益庞大的模型规模，AdamW 也开始显得力不从心。难道就没有一种方法，既能提升训练速度，又能降低能耗吗?别急

在经历了一段时间的期待后，人工智能机器人公司 Figure 与德国汽车巨头宝马的合作终于迎来了重大进展。Figure02人形机器人在生产线上的性能得到了显著提升，现如今的速度提高了400%，成功率更是提升了七倍。 Figure 公司发布了一段新视频，展示了 Figure02的强大功能。Figure 创始兼首席执行官布雷德・阿德科克（Bred Adcock）表示，机器人每天可以完成多达1000次的操作。他提到:“随着我们部署更多机器人，收集更多数据并改进我们的人工智能模型，这一数字还会继续上升。”视频中，机器人

Stability AI近日推出了其最新的深度学习文本到图像生成模型 ——Stable Diffusion3.5。这一版本包括三种改进的开源模型，旨在满足不同用户的需求，包括研究人员、企业客户和爱好者。其中，Stable Diffusion3.5Large 是整个系列中最强大的模型，参数高达81亿。该模型以其卓越的图像质量和对提示的高度响应能力，成为专业用户的理想选择，能够生成分辨率达到1兆像素的高质量图像。此外，Stable Diffusion3.5Large Turbo 是 Stable Diffusion3.5Large 的简化版。它在生成高质量图像的同时，极大地提升了速度，仅

OpenAI近日推出了一项重要更新，为GPT-4o模型引入"预测输出"（Predicted Outputs）功能。这项创新技术显著提升了模型的响应速度，在特定场景下最高可达到原有速度的5倍，为开发者带来全新的效率体验。这项由OpenAI与FactoryAI联合开发的功能，其核心优势在于能够绕过已知内容的重复生成过程。在实际应用中，特别是在更新博客文章、迭代现有回复或重写代码等任务上表现出色。根据FactoryAI提供的数据显示，在编程任务中，响应时间缩短了2至4倍，将原本需要70秒的任务压缩至20秒内完成。目前

在视频处理领域，如何从单镜头视频中高效追踪三维运动一直是一项难题，尤其是在需要对长序列进行像素级精确追踪时。传统方法面临多重挑战，往往只能跟踪少量关键点，无法实现完整场景的细致理解。而且，现有技术的计算需求较高，难以在处理长视频时保持效率。同时，长时间的跟踪也会受到相机移动和物体遮挡等问题的影响，导致跟踪失误或错误的产生。当前，视频序列运动估计的方法各有优缺点。光流技术提供了密集的像素追踪，但在复杂场景中，尤其是处理长序列时表现出

大型语言模型如 GPT-4o 和 GPT-4o-mini 的出现，推动了自然语言处理领域的重大进步。这些模型能够生成高质量的响应，进行文档重写，以及提升各类应用的生产力。然而，这些模型面临的一个主要挑战就是响应生成的延迟。在更新博客或优化代码的过程中，这种延迟可能会严重影响用户体验，尤其是在需要多次迭代的场景下，如文档修改或代码重构，用户往往会感到沮丧。为了应对这一挑战，OpenAI 推出了 “预测输出（Predicted Outputs ）” 功能，这一功能显著减少了 GPT-4o 和 GPT-4o-mini 的延迟，

美国初创公司 Useful Sensors 推出了一款名为 Moonshine 的开源语音识别模型。Moonshine 的设计旨在更高效地处理音频数据，相比于 OpenAI 的 Whisper，它在计算资源的使用上更为经济，处理速度快五倍。这一新模型专为在资源有限的硬件上实现实时应用而打造，具有灵活的架构。与 Whisper 将音频分为固定的30秒片段处理不同，Moonshine 根据实际音频长度调整处理时间。这使得它在处理较短音频片段时表现出色，减少了由于零填充而产生的处理开销。Moonshine 有两个版本:小型的 Tiny 版本参数量为2710万，

2024年10月22日 - Anthropic正式发布了新一代快速模型Claude 3.5 Haiku。该公司表示，在与Claude 3 Haiku相似的速度下，Claude3.5 Haiku在各项技能上均有所提升，并在许多智能基准测试中超越了上一代最大模型Claude 3 Opus。Claude 3.5 Haiku最初作为纯文本模型推出，图像输入功能即将上线。该模型目前可通过Anthropic的一方API、Amazon Bedrock和Google Cloud的Vertex AI平台访问。价格和成本节约:Claude 3.5 Haiku的定价为每百万输入token 1美元，每百万输出token 5美元。 用户可以通过提示缓存节省高达90%的成本，并通过Message B

大模型（LLM）如GPT、Llama等在人工智能领域掀起了一场革命，但如何高效地训练这些庞大的模型并使其符合人类价值观仍然是一个难题。强化学习与人类反馈（RLHF）作为一种重要的LLM训练方法，近年来得到广泛应用，但传统的RLHF框架在灵活性、效率和可扩展性方面存在局限性。为解决这些问题，字节跳动豆包大模型团队开源了名为HybridFlow的RLHF框架，为LLM训练带来了新的可能性。RLHF通常包含三个阶段:首先，actor模型根据输入的提示生成文本;然后，critic模型、reference模型和reward模型对生成

最近，Meta AI 推出了全新的量化 Llama3.2模型，包含1B 和3B 两个版本，这款模型可以在多种设备上进行微调、蒸馏和部署。过去，虽然像 Llama3这样的模型在自然语言理解和生成方面取得了显著成就，但其庞大的体量和高计算需求使得很多组织难以使用。训练时间长、能源消耗高以及对昂贵硬件的依赖，无疑加大了科技巨头与小型企业之间的鸿沟。Llama3.2的特点之一就是支持多语言文本和图像处理。1B 和3B 模型经过量化处理，平均可以缩小56% 的体积，并且在内存使用上减少了41%，并实现2-3倍的

近日，OpenAI 的研究人员发布了一项令人振奋的研究成果，介绍了一种全新的连续时间一致性模型（sCM）。这一模型在生成多媒体内容(如图像、视频和音频)的速度上实现了飞跃，相较于传统的扩散模型，速度提高了整整50倍。具体来说，sCM 能够在不到0.1秒的时间内生成一幅图像，而传统扩散模型则往往需要超过5秒。研究团队通过这项技术，成功地在仅需两次采样步骤的情况下，生成出高质量的样本。这一创新使得生成过程更为高效，而不会牺牲样本的质量。文章由 OpenAI 的两位研究人员 —

研究人员最近开发了一种名为 REPA 的新技术，旨在加速 AI 图像生成模型的训练速度。REPA 代表 REPresentation Alignment，通过整合来自 DINOv2等模型的高质量视觉表示来提高训练速度和输出质量。传统的扩散模型通常会创建嘈杂的图像，然后逐渐将其细化为干净的图像。REPA 增加了一个步骤，将在此去噪过程中生成的表示与来自 DINOv2的表示进行比较。然后，它将扩散模型的隐藏状态投影到 DINOv2的表示上。研究人员表示，REPA 不仅提高了训练效率，还提高了生成的图像质量。使用各种扩散模型架构

最近，德国的人工智能初创公司黑森林实验室（Black Forest Labs）推出了最新的图像生成模型 Flux1.1Pro。这个新模型的速度真是令人惊叹，黑森林实验室声称:它比前一代的 Flux1Pro 快了整整六倍，同时在图像质量上也有了显著提升。除了 Flux1.1Pro，黑森林实验室还发布了其 BFL API 的 beta 版本，让开发者可以将 Flux 模型集成到他们自己的应用中。Flux1.1Pro 在多个关键功能上都有所加强，不仅在速度上达到了前所未有的水平，还提高了图像的质量、响应指令的准确性以及图像的多样性。未来，这个模