大型语言模型 (LLM) 在自然语言处理 (NLP) 领域取得了显著进展，使其在文本生成、摘要和问答等应用中大放异彩。然而，LLM 对令牌级处理（一次预测一个词）的依赖也带来了一些挑战。这种方法与人类的交流方式形成对比，后者通常在更高层次的抽象层面运作，例如句子或想法。令牌级建模在需要长上下文理解的任务中也显得力不从心，并可能产生不一致的输出。此外，将这些模型扩展到多语言和多模态应用中，在计算上成本高昂，且需要大量数据。为了解决这些问题，Meta AI 的研究人员

近年来，大型语言模型（LLMs）在自然语言处理(NLP)领域取得了显著进展，广泛应用于文本生成、摘要和问答等场景。然而，这些模型依赖于逐字预测的 token 级处理方法，这种方式在理解上下文时存在困难，且往往产生不一致的输出。此外，将 LLMs 扩展到多语言和多模态应用时，计算成本和数据需求也相对较高。为了解决这些问题，Meta AI 提出了一种全新的方法 —— 大概念模型(LCMs)。大概念模型（LCMs）代表了传统 LLM 架构的一次重要转变。它们引入了两个重大创新:首先，LCMs 在一个高维嵌

在当今的人工智能领域，训练模型不仅仅是设计更好的架构，还需要高管理数据。现代 AI 模型需要大量数据，并且这些数据必须快速送达 GPU 和其他加速器。然而，传统的数据加载系统常常无法满足这一需求，导致 GPU 闲置、训练时间延长以及成本增加。尤其是在需要扩展或处理多种数据类型时，这个问题显得尤突出。为了解决这些问题，Meta AI 开发了 SPDL（可扩展且高效的数据加载），这是一个旨在改善 AI 训练数据传输的工具。SPDL 采用线程式加载，这一方法不同于传统的基于进程的方法

Meta AI近日重磅开源了名为SPIRIT LM的基础多模态语言模型，该模型能够自由混合文本和语音，为音频和文本的多模态任务打开了新的可能性。SPIRIT LM基于一个70亿参数的预训练文本语言模型，通过在文本和语音单元上进行持续训练，扩展到语音模态。它可以像文本大模型一样理解和生成文本，同时还能理解和生成语音，甚至可以把文本和语音混合在一起，创造出各种神奇的效果! 比如，你可以用它来做语音识别，把语音转换成文字;也可以用它来做语音合成，把文字转换成语音;还可以用它来做

在大型云基础设施的管理中，即便是微小的性能下降也可能导致显著的资源浪费。例如，在 Meta 这样的公司中，一项应用的运行速度下降0.05% 看似微不足道，但在数百万台服务器同时运转的情况下，这种微小的延迟会积累成数千台服务器的浪费。因此，及时发现并解决这些微小的性能回归对 Meta 来说是一项巨大的挑战。为了解决这个问题，Meta AI 推出了 FBDetect，这是一个针对生产环境的性能回归检测系统，能够捕捉到最小的性能回归，甚至低至0.005%。FBDetect 能够监控约80万个时间序列，涵盖

生成高质量、时间连续的视频需要大量的计算资源，尤其是对于较长的时间跨度而言。最新的扩散Transformer 模型（DiTs）虽然在视频生成方面取得了显著进展，但由于其依赖于更大的模型和更复杂的注意力机制，导致推理速度较慢，反而加剧了这一挑战。为了解决这个问题，Meta AI 的研究人员提出了一种名为 AdaCache 的免训练方法来加速视频 DiTs。AdaCache 的核心思想是基于“并非所有视频都相同”这一事实，这意味着某些视频比其他视频需要更少的去噪步骤即可达到合理的质量。 基于此，该方

近日，Meta AI 的研究团队与加州大学伯克利分校及纽约大学的研究人员合作，推出了一种名为思维偏好优化（Thought Preference Optimization， TPO）的方法，旨在提升经过指令微调的大型语言模型(LLM)的回应质量。与传统模型仅关注最终答案不同，TPO 方法允许模型在生成回应前进行内部思考，从而产生更加准确和连贯的回答。这种新技术结合了改进版的思维链（Chain-of-Thought， CoT）推理方法。在训练过程中，该方法鼓励模型在回应前先进行 “思考”，帮助其构建更为系统的内部思维过程。以往的直

最近，Meta AI 团队带来了 LongVU，这是一种新颖的时空自适应压缩机制，旨在提升长视频的语言理解能力。传统的多模态大型语言模型（MLLMs）在处理长视频时面临着上下文长度的限制，而 LongVU 正是为了解决这一难题而诞生。LongVU 的工作原理主要通过过滤重复帧、跨帧token压缩等方法来高效使用上下文长度，能够在保持视频视觉细节的同时减少视频中的冗余信息。具体来说，团队使用 DINOv2的特征来剔除那些高度相似的冗余帧。接着，通过文本引导的跨模态查询，实现了选择性地减少帧特征

最近，Meta AI 推出了全新的量化 Llama3.2模型，包含1B 和3B 两个版本，这款模型可以在多种设备上进行微调、蒸馏和部署。过去，虽然像 Llama3这样的模型在自然语言理解和生成方面取得了显著成就，但其庞大的体量和高计算需求使得很多组织难以使用。训练时间长、能源消耗高以及对昂贵硬件的依赖，无疑加大了科技巨头与小型企业之间的鸿沟。Llama3.2的特点之一就是支持多语言文本和图像处理。1B 和3B 模型经过量化处理，平均可以缩小56% 的体积，并且在内存使用上减少了41%，并实现2-3倍的

最近，Meta 在其 WhatsApp 频道上宣布，旗下的 AI 聊天机器人 Meta AI 正式登陆六新国家，包括巴西、英国、菲律宾玻利维亚、危地马拉巴拉圭。这标志着 Meta AI 的进一步国际化，旨在为全球用户提供更智能的互动体验。Meta 还透露，除了这六个国家之外，公司计划在未来逐步推出 Meta AI 至更多国家，特别是在中东地区。随着这次扩展，Meta AI 将可在43个国家和多个语言中使用，进一步提高其全球用户基础。接下来的推出计划中，Meta AI 将进入多个新市场，包括阿尔及利亚、埃及、印度尼西亚、伊

Meta 在周三宣布，其人工智能（AI）功能将扩展到21个新国家。这项名为 Meta AI 的服务不仅提供聊天机器人用于对话和搜索，还包括一个能够根据文本输入生成图像的创作工作室。根据 Meta 发布的新闻稿，Meta AI 现在已在包括巴西、玻利维亚、危地马拉、巴拉圭、菲律宾以及英国在内的21个国家陆续上线。除了这些国家，还有许多拉丁美洲和亚洲的国家也在此列。未来几周，Meta 的人工智能服务也将向中东地区推出。Meta 表示，随着这次逐步上线，Meta AI 将覆盖43个国家和多个语言。这意味着，

最近，Meta 开始测试一项新功能，这项功能将在 Facebook 和 Instagram 的动态中插入基于用户兴趣和当前潮流的 AI 生成内容。Meta 表示，这些 AI 生成的图像会根据每个用户的偏好进行调整。用户可以点击一些建议的提示，以引导内容向新的方向发展。更有趣的是，用户只需滑动屏幕，就能让 AI 实时创造出更个性化的内容。作为 Meta 推动 AI 发展的一个重要部分，该公司还在其 Meta AI 助手中加入了语音功能。这意味着用户不仅可以提问与照片相关的问题，还能对照片进行编辑，并自动翻译 Reels 视

在人工智能的浩瀚海洋中，一艘名为Emu3的创新之船正在破浪前行，为我们展示了多模态AI的无限可能。这个由Meta AI研究团队开发的革命性模型，通过简单而巧妙的"下一步预测"机制，实现了文本、图像和视频的统一处理。Emu3的核心思想是将各种内容转换为离散符号，然后利用单一的Transformer模型来预测下一个符号。这种方法不仅简化了模型架构，还让Emu3在多个领域展现出惊人的能力。从高质量图像生成到准确的图文理解，从连贯的对话响应到流畅的视频创作，Emu3都能轻松应对。在图像生

近期，社交媒体平台上掀起了一股"再见，Meta AI"的浪潮。众多用户，包括知名人士如汤姆·布雷迪和音乐人猫力量（Cat Power），纷纷在Instagram上发布声明，试图阻止Meta使用他们的数据来训练AI模型。这一现象反映出用户对数据隐私和AI技术应用的深切忧虑，也为科技巨头如何平衡技术创新与用户权益提出了新的挑战。虽然这些声明在法律上并无约束力，Meta也明确表示这些文本不具有法律效力，但我们不能简单地将其视为用户的无知或天真。相反，这种行为背后折射出的是用户对AI技术快速发

在刚刚举行的 Meta Connect2024大会上，Meta 的创始人兼 CEO 扎克伯格激动地宣布，Meta AI 的月活跃用户已经接近5亿， 有望成为全球使用最多的AI助手。扎克伯格在演讲中提到:“我们目前月活跃用户几乎达到了5亿，且尚未在一些大市场推出，比如欧洲市场。” 这一消息无疑让人对 Meta AI 的未来充满期待。据悉，Meta 早些时候就曾透露，全球的月活跃用户数量已超过4亿。而在近期的财报会议上，Meta 的首席财务官苏珊・李也提到，印度是 Meta AI 的最大市场，WhatsApp 在印度的用户已经超过5亿，这为

Meta AI在印度成为使用量最大的市场，自推出几个月后，已接收数十亿次查询，尤其在WhatsApp上表现出色。文化挑战与算法调整后，AI支持多种语言，现已在22个国家可用。新模型Llama4的训练计算需求是之前的10倍。同时，Threads社交应用用户数接近2亿，Facebook在美国年轻成年人中的使用情况呈积极趋势。

Meta公司在印度市场AI产品的成功主要得益于其在WhatsApp的广泛应用，该平台在印度拥有5亿用户。AI产品自推出以来，已处理数十亿次查询，用户留存率和参与度表现出色。尽管面临适应当地文化、处理宗教敏感话题和图像生成偏见的挑战，Meta已调整算法以确保公平性，并支持多种语言，包括印地语。此外，Meta还宣布正在开发计算能力比Llama3高10倍的下一代Llama4模型，显示了公司在AI领域的长期承诺。除AI外，Meta旗下产品如Threads和Facebook在美国年轻用户群中的使用率也有所增长。