在当今数字化的世界里，短文本的使用已成为在线交流的核心。然而，由于这些文本往往缺乏共同的词汇或背景，使得人工智能（AI）在分析时面临诸多挑战。对此，悉尼大学的一名英语文学研究生兼数据科学家贾斯汀・米勒(Justin Miller)提出了一种新方法，利用大型语言模型(LLMs)对短文本进行深入理解和分析。米勒的研究重点在于如何将大量短文本，如社交媒体个人资料、顾客反馈或与灾难事件相关的在线评论，进行有效的分类。他开发的 AI 工具可以将数以万计的 Twitter 用户个人简介聚类

DeepSeek近日正式发布并开源了其最新研发的大型语言模型R1，该模型在性能上表现出色，被认为可与OpenAI的o1正式版相媲美。这一举措不仅标志着国产AI技术的又一次重大突破，也为全球AI开发者带来了新的选择。DeepSeek R1在后训练阶段大规模应用了强化学习技术，即便是在极少标注数据的情况下，也显著提升了模型的推理能力。在数学、代码、自然语言推理等关键任务上，DeepSeek R1的性能均能与OpenAI o1正式版平分秋色，展示了其强大的实力。为了回馈开源社区，DeepSeek同时开源了DeepSeek-R1和De

近日，一项由奥地利复杂科学研究所（CSH）主导的研究显示，尽管大型语言模型(LLMs)在多项任务中表现优异，但在应对高级历史问题时却暴露了短板。研究团队针对三大顶尖模型进行测试，包括 OpenAI 的 GPT-4、Meta 的 Llama 和谷歌的 Gemini，结果让人失望。图源备注：图片由AI生成，图片授权服务商Midjourney为了评估这些模型在历史知识上的表现，研究者们开发了一个名为 “Hist-LLM” 的基准测试工具。该工具依据 Seshat 全球历史数据库，旨在验证 AI 回答历史问题的准确性。研究结果在知名人工智

最新研究显示，尽管人工智能在编程和内容创作等领域表现出色，但在处理复杂的历史问题时仍显不足。近期在NeurIPS会议上公布的一项研究表明，即使是最先进的大型语言模型（LLM）在历史知识测试中也难以取得令人满意的成绩。研究团队开发了名为Hist-LLM的测试基准，对OpenAI的GPT-4、Meta的Llama和谷歌的Gemini三款顶级语言模型进行评估。测试基于Seshat全球历史数据库进行，结果令人失望:表现最佳的GPT-4Turbo准确率仅为46%。图源备注：图片由AI生成，图片授权服务商Midjourney伦敦大学学院副教授

近日，美国搜索引擎初创公司 Perplexity AI 向 TikTok 的母公司字节跳动提出了一项合并提案，计划将 Perplexity 与 TikTok 美国版合并成一个新实体。根据知情人士的透露，这一提案在面对即将到来的美国禁令时显得尤为重要。据了解，TikTok 正在面临美国政府的禁令，预计将在本周日生效，除非其能够切断与字节跳动的关系。然而，刚刚当选的总统唐纳德・特朗普表示，他可能会在周一给予 TikTok 一个为期 90 天的缓冲期，以便其能继续运营。这使得 TikTok 的未来充满变数。Perplexity AI 的合并计划旨

谷歌最近正式推出了 Vertex AI RAG 引擎，这是一款旨在简化从知识库中检索相关信息并将其输入大型语言模型（LLM）的复杂流程的开发工具。作为 Vertex AI 平台的一部分，Vertex AI RAG 引擎被定义为一种托管的编排服务和数据框架，专为开发上下文增强的 LLM 应用而设计。在1月15日的博客中，谷歌提到，尽管生成式人工智能和大型语言模型正在变革各行各业，但仍然存在一些挑战，例如虚假信息（生成不准确或无意义的信息）和超出训练数据的知识局限性，这些都可能阻碍企业的采纳。而 Vertex

传统的大型语言模型（LLM）微调方法通常计算密集，且在处理多样化任务时显得静态。为了解决这些挑战，Sakana AI 推出了一种名为 Transformer² 的新型自适应框架。Transformer² 能够在推理过程中实时调整LLM的权重，使其能够适应各种未知的任务，就像章鱼一样灵活。Transformer² 的核心在于一个两阶段机制:第一阶段，一个调度系统会分析用户的查询，识别任务的属性。第二阶段，系统会动态混合多个“专家”向量。这些向量是使用强化学习训练出来的，每个向量都专注于特定类型的任务，从而

近日，OpenAI 与纽约时报之间的版权侵权诉讼在美国联邦法院开庭。此案引发广泛关注，因为它不仅涉及两大知名机构，还可能对整个数字媒体生态系统产生深远影响。法庭上，OpenAI 及其主要投资者微软提出了驳回诉讼的动议，而纽约时报及其他原告则指控 OpenAI 和微软在未获得许可的情况下使用其内容来训练大型语言模型（LLM），并利用这些模型来与原告竞争，影响其网站流量和收入。纽约时报的律师在法庭上指出，OpenAI 在训练其模型时，可能直接复制了多篇新闻报道，有时甚至在回答

阿里巴巴达摩院近日推出了一款名为Valley2的多模态大型语言模型，该模型基于电商场景设计，旨在通过可扩展的视觉-语言架构，提升各领域性能并拓展电商与短视频场景的应用边界。Valley2采用了Qwen2.5作为LLM主干，搭配SigLIP-384视觉编码器，结合MLP层和卷积进行高效特征转换。

近年来，人工智能（AI）的编程能力不断发展，但尚未达到完美。最近，BuzzFeed 的资深数据科学家 Max Woolf 通过实验发现，如果对大型语言模型(LLM)不断提供 “写更好代码” 的提示，AI 确实能够生成更优质的代码。这一发现引发了广泛关注，业界著名 AI 科学家们也对此表示了极大的兴趣，强调了迭代和提示词设计的重要性。在 Woolf 的实验中，他利用 Claude3.5Sonnet 这一版本的 AI 模型进行了一系列编程任务。起初，他给模型提出了一个简单的编程问题:如何找出一百万个随机整数中，各位数之

随着企业越来越多地应用大型语言模型（LLMs），如何提升模型的知识准确性并减少幻觉现象，成为了一项重要挑战。Meta AI 的研究人员在一篇新论文中提出了 “可扩展记忆层”，或许能够为这一问题提供解决方案。可扩展记忆层的核心思想是在不增加推理时计算资源的情况下，向 LLMs 中添加更多参数，从而提升其学习能力。这种架构适用于需要储存大量事实知识但又希望保持推理速度的应用场景。传统的语言模型使用 “密集层” 来编码大量信息。在密集层中，所有参数在推理时几乎都是

香港中文大学（深圳）与深圳大数据研究院的研究团队近日联合发布了一款名为HuatuoGPT-o1的医疗大型语言模型(LLM)。这款模型专为医疗领域的复杂推理而设计，旨在提高医疗诊断和决策的可靠性。与以往侧重于数学推理的LLM不同，HuatuoGPT-o1专注于医疗这一特殊领域，通过模拟医生在实际工作中严谨的思考过程，为医疗AI的发展开辟了新的道路。该研究团队认识到，医疗领域的推理过程往往缺乏明确的步骤，难以验证。为了解决这一难题，他们从医疗考试题库中精选出4万道具有唯一、客观正

近年来，训练大型语言模型（LLM）变得越来越昂贵且复杂，只有少数大型科技公司具备相应的计算资源。不过，谷歌最近推出了一种名为 SALT(小模型辅助大模型训练)的新方法，这一创新可能会彻底改变 AI 训练的格局。图源备注:图片由AI生成，图片授权服务商Midjourney根据谷歌研究和 DeepMind 的最新研究论文，“一点帮助就能走得更远:通过利用小型语言模型实现高效的 LLM 训练”，SALT 引入了一种新的两阶段训练过程。这种方法不仅高效，而且更具实用性，改变了我们以往的训练方式。SALT 的

随着用户体验的提升和留存率的增强，推荐系统在电商、流媒体和社交媒体等多个行业中愈发受到重视。这些系统需要分析用户、商品及其背景因素之间的复杂关系，以精准地推荐用户可能感兴趣的内容。然而，现有的推荐系统往往是静态的，依赖于大量历史数据来有效地构建这些关系。在 “冷启动” 场景下，这种关系的构建几乎变得不可能，进一步削弱了系统的效果。为了解决这些问题，来自上海交通大学和华为诺亚方舟实验室的研究人员推出了 AutoGraph 框架。该框架能够自动构建图，

Meta 公司近日发布了一项突破性的研究成果，他们开发出一种新型的记忆层技术，可以显著提升大型语言模型（LLM）的事实准确性，并在参数规模上实现了前所未有的扩展。这项技术不仅挑战了传统神经网络的扩展方式，还为未来的 AI 架构设计提供了新的方向。这项研究的核心在于利用可训练的键值查找机制，为模型增加额外的参数，而无需增加计算量（FLOPs）。这种方法的核心思想是，通过稀疏激活的记忆层来补充计算密集的前馈层，从而提供专门的存储和检索信息的能力。与传统的稠

在当今科技迅速发展的背景下，大型语言模型（LLM）在多个行业中扮演着重要角色，帮助自动化任务和提升决策效率。然而，在芯片设计等专业领域，这些模型面临着独特的挑战。NVIDIA 最近推出的 ChipAlign 正是为了应对这些挑战而设计，旨在将通用指令对齐的 LLM 与芯片特定的 LLM 的优势相结合。ChipAlign 采用了一种新的模型合并策略，这一策略无需进行繁琐的训练过程，借助几何空间中的测地线插值方法，能够顺畅地将两种模型的能力融合在一起。与传统的多任务学习方式相比，ChipAlign 直

学术同行评审是科学进步的基石，但随着投稿数量的激增，这一系统正面临巨大压力。为了缓解这一问题，人们开始尝试利用大型语言模型（LLM）进行辅助审稿。然而，一项最新研究揭示了LLM审稿中存在的严重风险，表明我们可能还未做好广泛采用LLM审稿的准备。上海交通大学的研究团队通过实验发现，作者可以通过在论文中嵌入细微的操控性内容来影响LLM的评审结果。这种操控可以是显性的，例如在论文末尾添加不易察觉的白色小字，指示LLM强调论文的优点并淡化缺点。实验表明，这种

MRI 图像因其复杂性和数据量大，一直以来都是医学影像分析中的一大挑战。为了训练大型语言模型（LLM）进行 MRI 分析，开发者不得不将获取的图像切割为2D 图像，这样的处理虽然可行，但却限制了模型对复杂解剖结构的分析能力，尤其是在脑肿瘤、骨骼疾病或心血管疾病等复杂案例中。图源备注:图片由AI生成，图片授权服务商Midjourney不过，GE 医疗在今年的 AWS re:Invent 大会上发布了行业首个全身3D MRI 研究基础模型（FM），这标志着 MRI 模型终于可以利用整个身体的3D 图像。这一模型是基于

近日，苹果公司在机器学习领域的最新研究显示，他们通过与 NVIDIA 的合作，成功将大型语言模型（LLM）的生成速度提高了近三倍。这一进展的关键在于苹果开源的技术 “Recurrent Drafter”(ReDrafter)，它采用了一种推测解码方法，能够显著提升模型训练的效率。在过去，创建大型语言模型的过程通常非常耗时和耗资源，企业常常需要购买大量的硬件设备，进而增加了运营成本。2024年早些时候，苹果发布了 ReDrafter，这一技术结合了递归神经网络和动态树关注的方法，能够快速生成和验证标记，

近日，微软 AI 研究团队发布了开源工具 PromptWizard，这是一种基于反馈驱动的 AI 框架，旨在高效优化大型语言模型（LLM）的提示设计。提示的质量对于模型输出的优劣至关重要，然而，创建高质量的提示往往需要耗费大量的时间和人力资源，尤其是在复杂或特定领域的任务中。传统的提示优化方法多依赖人工经验，这种方式不仅耗时，而且难以扩展。现有的优化技术分为连续和离散两种。连续技术如软提示需要大量的计算资源，而离散方法如 PromptBreeder 和 EvoPrompt 则通过生成多种提示变体