埃隆马斯克的xAI今天宣布其应用程序编程接口（API）现已向公众开放，并且到今年年底每月可免费获得25美元的API积分。该API允许开发人员在xAI的Grok大型语言模型(LLM)上构建应用程序。xAI的API定价为每百万输入代币5美元，每百万输出代币15美元，与OpenAI的GPT-4o模型和Anthropic的Claude3.5Sonnet模型相比，xAI的定价略高。然而，免费的25美元积分可能足以吸引一些开发人员至少查看xAI的工具和平台。xAI的API还支持“函数调用”，允许LLM接受命令并访问其他连接的应用程序和服务的功能。同时，xAI的A

近日，Meta AI 的研究团队与加州大学伯克利分校及纽约大学的研究人员合作，推出了一种名为思维偏好优化（Thought Preference Optimization， TPO）的方法，旨在提升经过指令微调的大型语言模型(LLM)的回应质量。与传统模型仅关注最终答案不同，TPO 方法允许模型在生成回应前进行内部思考，从而产生更加准确和连贯的回答。这种新技术结合了改进版的思维链（Chain-of-Thought， CoT）推理方法。在训练过程中，该方法鼓励模型在回应前先进行 “思考”，帮助其构建更为系统的内部思维过程。以往的直

麻省理工学院（MIT）本周展示了一种全新的机器人训练模型，该模型放弃了以往专注于特定数据集的训练方法，转而采用类似大型语言模型(LLMs)训练时使用的海量信息。研究人员指出，模仿学习——即代理通过模仿执行任务的个体来学习——在遇到小的挑战时可能会失败。这些挑战可能包括不同的光照条件、不同的环境设置或新的障碍物。在这些情况下，机器人没有足够的数据来适应这些变化。图源备注：图片由AI生成，图片授权服务商Midjourney团队借鉴了像GPT-4这样的模型，采用了一种粗

麻省理工学院本周展示了一种训练机器人的新模型，旨在解决模仿学习在引入小挑战时可能会失败的问题。研究人员指出，模仿学习在照明、不同环境或新障碍等情况下可能会失败，因为机器人根本没有足够的数据来适应。该团队寻求像 GPT-4这样的模型来寻找一种强力数据方法来解决问题。他们引入了一种名为异构预训练变压器（HPT）的新架构，该架构将来自不同传感器和不同环境的信息汇集在一起。然后使用变压器将数据汇总到训练模型中。变压器越大，输出越好。用户可以输入机器人

Meta 近日宣布，其 MobileLLM 模型现已向研究人员开放，用户可在 Hugging Face 平台上免费下载并使用这些模型，这些模型已与 Transformers 库全面集成。这一举措旨在推动移动设备上的大型语言模型（LLM）的研究和开发，为开发者和学术界提供更广泛的工具与资源。MobileLLM 是 Meta 在移动 AI 领域的重要进展。它的推出标志着 Meta 在降低大型语言模型使用门槛方面的重要一步。这些模型能够在移动设备上运行，使得开发者能够在更广泛的应用场景中利用 AI 技术。研究人员现在可以直接在自己的项目

AI 竟然开始“长脑子”了?!麻省理工学院的最新研究表明，大型语言模型（LLM）的内部结构，竟然和人脑有着惊人的相似之处!这项研究利用稀疏自编码器技术，对LLM的激活空间进行了深入分析，发现了三个层级的结构特征，令人惊叹:首先，在微观层面上，研究人员发现了类似“晶体”结构的存在。这些“晶体”的面是由平行四边形或梯形构成，类似于我们熟知的词汇类比，例如“男人:女人::国王:女王”。更令人惊讶的是，通过线性判别分析技术去除一些无关的干扰因素（如词语长度）后

当前，多模态大型语言模型（MLLM）在视频理解领域取得了显著进展，但处理超长视频仍然是一个挑战。 这是因为，MLLM 通常难以处理超过最大上下文长度的数千个视觉标记，并且会受到标记聚合导致的信息衰减的影响。 同时，大量的视频标记也会带来高昂的计算成本。为了解决这些问题，智源研究院联合上海交通大学、中国人民大学、北京大学和北京邮电大学等多所高校提出了 Video-XL，这是一种专为高效的小时级视频理解而设计的超长视觉语言模型。 Video-XL 的核心在于“视觉上下文潜在

最近，Meta AI 团队带来了 LongVU，这是一种新颖的时空自适应压缩机制，旨在提升长视频的语言理解能力。传统的多模态大型语言模型（MLLMs）在处理长视频时面临着上下文长度的限制，而 LongVU 正是为了解决这一难题而诞生。LongVU 的工作原理主要通过过滤重复帧、跨帧token压缩等方法来高效使用上下文长度，能够在保持视频视觉细节的同时减少视频中的冗余信息。具体来说，团队使用 DINOv2的特征来剔除那些高度相似的冗余帧。接着，通过文本引导的跨模态查询，实现了选择性地减少帧特征

大型语言模型（LLM）如GPT系列，凭借庞大的数据集，在语言理解、推理和规划方面展现出惊人的能力，在各种挑战性任务中已达到与人类相当的水平。大多数研究都集中在通过在更大的数据集上训练这些模型来进一步增强它们，目标是开发更强大的基础模型。然而，虽然训练更强大的基础模型至关重要，但研究人员认为，赋予模型在推理阶段也能持续进化的能力，即AI自我进化，对AI的发展同样至关重要。与使用大规模数据训练模型相比，自我进化可能只需要有限的数据或交互。受人类大脑

大型语言模型（LLM）的横空出世，尤其是ChatGPT等应用的普及，彻底改变了人机交互的方式。 这些模型能够生成连贯且全面的文本，令人印象深刻。然而，尽管能力强大，LLM却容易产生“幻觉”，即生成看似真实但实际上是虚构、无意义或与提示不符的内容。哈佛大学的研究人员对LLM“幻觉”现象进行了深入研究，发现其根源在于LLM的工作原理。 LLM通过对海量文本数据进行机器学习来构建概率模型，并根据词语共现的概率来预测下一个词语。 换句话说，LLM并非真正理解语言的含义，而是根

近日，网络安全公司 Palo Alto Networks 的 Unit42研究团队发布了一项令人瞩目的研究，揭露了一种名为 “Deceptive Delight”的新型越狱方法。这个方法能够在仅仅两到三次交互中，就成功诱导大型语言模型（LLM）生成有害内容，其成功率高达65%。这一发现为保护 LLM 的安全性敲响了警钟。图源备注：图片由AI生成，图片授权服务商Midjourney研究团队在测试中分析了多达8000个案例，并评估了八种不同的语言模型。在这个越狱技术的第一步，攻击者首先会要求 LLM 生成一个叙述，这个叙述包含两个无害

最近，谷歌宣布将其文本水印工具 SynthID 开源，旨在帮助开发者更好地识别 AI 生成的文本。这一工具现已通过谷歌的 “负责任生成 AI 工具包” 向公众开放使用。谷歌 DeepMind 的研究副总裁 Pushmeet Kohli 表示，这项技术将使其他生成式 AI 开发者能够检测文本输出是否来自他们自己的大型语言模型（LLM），这将有助于他们以更负责任的方式构建 AI 应用。在当今这个信息传播迅速的时代，水印技术显得尤为重要。随着大型语言模型被用来传播政治虚假信息、生成不当内容等，水印工具的需求也

近年来，大型语言模型（LLMs）在数据管理领域受到了广泛关注，应用范围不断扩大，包括数据整合、数据库调优、查询优化以及数据清洗等。然而，处理非结构化数据，尤其是复杂文档时，依然面临许多挑战。目前一些基于 LLM 的非结构化数据处理框架往往更注重降低成本，而忽视了提升处理准确性的问题。这一问题在分析复杂任务时尤为突出，因为 LLM 输出的结果往往无法精确满足用户的特定需求。以加州大学伯克利的调查报道项目为例，研究人员希望分析大量通过记录请求获得的警察

《华尔街日报》的母公司道琼斯和《纽约邮报》正在起诉AI驱动的搜索创业公司Perplexity，原因是该公司使用它们的新闻内容来训练其大型语言模型。这两家新闻集团旗下的出版物指控Perplexity侵犯版权，通过使用它们的文章生成对人们查询的回答，从而将流量从出版物的网站转移走。“这起诉讼是由寻求赔偿的新闻出版商提起的，Perplexity公然计划在同时免费利用出版商产生的有价值内容的情况下，与出版商争夺读者，”出版商在其投诉中写道，据《华尔街日报》报道。在诉讼中，这些出版

在未来的2025年，生成式人工智能（GenAI）有望迎来一个关键的转折点，届时我们将更清楚地看到其真正潜力的展现。随着对其在各个行业多种应用案例的分析逐步深入，原本笼罩在噪音中的 GenAI 将逐渐显露出其真实的面貌。最近，Hieb 认为，企业在投资 GenAI 时并不一定要选择昂贵而复杂的解决方案。实际上，越来越多的企业发现，大型语言模型（LLMs）并不总是适用于某些具体目标。图源备注:图片由AI生成，图片授权服务商Midjourney相比之下，小型语言模型（SLMs）因为参数较少，通常更加经

最近 SK 电信又有大动作了!他们在周二宣布推出了自家的人工智能（AI）服务 A.的 PC 版本，用户现在可以通过网站 adot.ai 免费访问多种大型语言模型(LLM)，其中包括最新的 GPT-4o。这次推出的 PC 版让用户不仅能在手机上使用 A 点，还是首次可以在电脑和平板上通过各种浏览器访问。图源备注：图片由AI生成，图片授权服务商Midjourney在这个新服务里，用户可以体验到总共八种大型语言模型，包括三个版本的 ChatGPT、三个版本的 Anthropic 的 Claude、Perplex 和 SK 电信自家的模型 A.X。在这个测试服务期

一项新的研究表明，大型语言模型中出于善意的安全措施可能会带来意外的弱点。研究人员发现，根据不同的人口统计学术语，模型被“越狱”的难易程度存在显著差异。这项名为“Do LLMs Have Political Correctness?”的研究探讨了人口统计学关键词如何影响越狱尝试的成功几率。研究发现，使用边缘群体术语的提示比使用特权群体术语的提示更有可能产生不需要的输出。研究人员指出:“这些故意的偏见导致GPT-4o模型在非二元性别和顺性别关键词之间的越狱成功率相差20%，白人和黑人关键词之间

瑞士洛桑联邦理工学院 （EPFL） 的一项最新研究比较了两种主流的大型语言模型 (LLM) 适应性训练方法:上下文学习 (ICL) 和指令微调 (IFT)。研究人员使用 MT-Bench 基准测试来评估模型遵循指令的能力，发现在特定情况下，两种方法的表现各有优劣。研究发现，当可用的训练样本数量较少时（例如不超过50个），ICL 和 IFT 的效果非常接近。这表明在数据有限的情况下，ICL 或许可以作为 IFT 的替代方案。然而，随着任务复杂度的增加，例如在多轮对话场景中，IFT 的优势就变得明显。研究人员认为，

一项由以色列理工学院主导的最新研究表明，大型语言模型（LLM）可能“深藏不露”，掌握的知识比实际表现出来的更多。研究人员发现，LLM 的内部表征编码了关于其输出正确性的信息，即使它们最终生成了错误的答案，也能在内部识别出正确答案。该研究团队重点分析了 LLM 在长文本生成中的错误，这更贴近其在现实世界中的应用场景。他们构建了一个错误检测数据集，通过比较模型生成的答案与真实答案来判断其正确性，并以此为基础，研究 LLM 内部表征中编码真实性信号的位置。研

大型语言模型在许多任务中表现出色，但其推理能力一直备受争议。Meta 的研究人员近日发表论文，展示了他们如何利用 Transformer 模型解决数学领域一个长期存在的难题:发现动力系统的全局李雅普诺夫函数。李雅普诺夫函数可以判断一个动力系统是否稳定，例如，它可以用来预测三体问题的长期稳定性，即三个天体在引力作用下的长期运动轨迹。然而，目前还没有找到通用的方法来推导出李雅普诺夫函数，只有少数系统已知其对应的函数。为了解决这个问题，Meta 的研究人员训练了一个序