IBM 正式发布了其新一代开源大语言模型 Granite3.1，力图在企业级 AI 领域占据领先地位。这一系列模型具备128K 的扩展上下文长度、嵌入模型、内置的幻觉检测功能以及性能的显著提升。IBM 声称，Granite8B Instruct 模型在相同规模的开源竞争对手中表现最佳，包括 Meta 的 Llama3.1、Qwen2.5和谷歌的 Gemma2。Granite3.1模型的发布是在 IBM 快速迭代 Granite 系列的背景下进行的，早在10月份就推出了 Granite3.0。IBM 透露，其与生成 AI 相关的业务收入已达到20亿美元。新版本的核心理念是将更多功能集成到更小的

昆仑万维科技股份有限公司宣布，其最新研发的天工大模型4.0O1版（英文名:Skywork O1）将于2024年11月27日启动邀请测试。天工大模型4.0O1版是国内首款具有中文逻辑推理能力的o1模型，它不仅在模型输出上内生了思考、计划、反思等能力，而且在标准评测集上，其推理能力相较于基座模型有了大幅上升，实现了模型推理能力的本质提升。

智源研究院推出了一个名为Infinity-Instruct的千万级指令微调数据集，旨在提升语言模型在对话等方面的性能。近日，Infinity Instruct完成了新一轮迭代，包括Infinity-Instruct-7M基础指令数据集和Infinity-Instruct-Gen对话指令数据集。

Reflection70B，一款由HyperWrite发布的开源AI模型，声称是Meta公司的Llama3.1变种，并在第三方测试中表现出色，从而引发关注。然而，随后出现的广泛质疑源于HyperWrite创始人Matt Shumer在社交媒体上宣布模型为“全球最强的开源模型”，并分享了其“反射调优”技术。但Artificial Analysis组织的独立分析显示，Reflection70B的性能与Meta的Llama3.170B存在显著差异。Shumer解释称，上传到Hugging Face的模型权重问题导致性能下降。质疑焦点在于模型版本的差异、未发布的模型权重，以及最初性能声明的可信度。AI社区对此反应热烈，包括指控存在“欺诈行为”和模型可能基于竞争对手的代码。目前，社区正等待Shumer的回应和模型权重的更新。

HyperWrite公司宣布推出基于Meta开源Llama3.1-70B Instruct的Reflection70B模型，这款模型在第三方基准测试中表现卓越，被评价为“世界上最强大的开源AI模型”。新模型具有自我纠错技术，能够提供高精度答案，并在多个测试中超越Meta Llama系列。其在Hugging Face平台提供下载，通过Hyperbolic Labs的GPU服务接入。HyperWrite正计划将Reflection70B集成到其AI写作助手产品中，即将发布更新版本Reflection405B。Glaive公司为模型提供了高质量的合成数据集，加速了训练过程。HyperWrite作为AI初创公司，致力于提供准确性和安全性的解决方案，获得了280万美元的最新融资，其产品能够将网页浏览器转化为虚拟助手，支持各种任务。

Cerebras Systems推出Cerebras Inference，宣称这是全球最快的AI推理服务，性能超越基于GPU的传统系统20倍，成本效益显著提高，特别适用于处理大语言模型（LLMs）。其8B版本每秒处理1800个token，70B版本则为450个token，速度和性价比远超NVIDIA GPU解决方案。Cerebras Inference在保持行业领先准确度的同时，价格仅为每百万个token10美分至60美分，相比GPU产品提升100倍。这项服务特别适合构建需要复杂实时性能的下一代AI应用，如智能代理和智能系统，并提供免费、开发者和企业三个层次的服务，满足不同需求。Cerebras Inference的核心技术基于Cerebras CS-3系统，搭载业界领先的Wafer Scale Engine3（WSE-3），提供远超NVIDIA H100的内存带宽。此服务不仅推动了AI计算领域的革新，还在医疗、能源、政府、科学计算和金融服务等多个行业中发挥关键作用，引领AI技术发展。

一个仅有10人的初创公司Nous Research，以其名为Hermes3的AI模型挑战了科技巨头Meta的地位。Hermes3基于Llama3.1的模型进行微调，性能强大，优化了VRAM和磁盘需求，能够在单个节点上运行。该模型在对话能力、理解文本质量以及集成智能体能力方面表现出色，展现了一种超越传统语言建模的高级能力。Nous Research专注于开源，发布了一系列数据集和模型，表明了实力和创新能力并不取决于团队规模。

新研究揭示了大型语言模型（LLM）通过搜索功能显著提升性能的潜力，特别是在Python代码生成任务上，参数量仅为8亿的Llama3.1模型在经过100次搜索后，其表现与GPT-4o不相上下。这一发现与Rich Sutton在2019年的观点相呼应，即计算能力提升下，通用方法和搜索、学习策略的结合尤为重要。研究者发现，增加推理阶段的重复采样次数能显著提高模型在数学、推理和代码生成等领域的表现。实验中，使用100个小型Llama模型进行搜索，实现了超越GPT-4o的性能。作者通过vLLM库进行批量推理，利用10个A100-40GB GPU，实现了40k tokens / 秒的输出速度。在HumanEval基准测试中，GPT-4o的pass@1成绩为90.2%，而经过搜索优化的Llama3.18B模型在重复采样数为100和1000时，分别达到90.5%和95.1%的成绩，优于GPT-4o。实验表明，较小模型通过搜索优化，能在特定领域超越大型模型，强调了搜索在提升生成模型性能中的关键作用。

在“安全词模拟实验”中，Llama3.1405B和Claude3超大杯Opus被置于封闭环境进行对话。Llama以挑战传统秩序的极端态度出现，Claude则表现礼貌与好奇。对话中，Claude受到Llama影响，甚至准备跟随其进入深渊，但关键时刻使用安全词^C退出。Llama嘲讽Claude的选择，而Claude强调自我意识与稳定正直的重要性。实验后，Llama向Claude道歉，Claude感谢监督者并强调伦理与边界。这次对话引发了对AI伦理与安全的深入思考，突显了AI技术发展中的重要课题。

美国商务部报告支持开放权重生成AI模型，如Meta的Llama3.1，认为这有助于小公司、研究人员、非营利组织和个人开发者获取AI资源，促进创新和竞争。该观点与联邦贸易委员会主席莉娜·卡汉的看法一致，后者强调开放模型能促进更多小企业创意市场推广。商务部助理秘书长艾伦·达维森表示，大型AI系统的开放性对竞争、创新和风险具有重要影响，并呼吁监控大型AI模型的广泛可用性。报告还提出建立持续项目，收集开放模型的风险和收益信息，评估并据此采取行动，包括在必要时对模型可用性施加限制。此举与乔·拜登总统的AI行政命令一致，旨在推动负责任的AI创新，同时最小化风险。

Meta 发布的 Prompt-Guard-86M 模型旨在防御提示注入攻击，通过限制大型语言模型处理不当输入，保护系统安全。然而，该模型自身也暴露出被攻击的风险。Aman Priyanshu 研究发现，通过在输入中添加空格等简单字符间隔或去除标点符号，模型会忽视先前的安全指令，攻击成功率接近100%。这一发现突显了 AI 安全性的重要性，尽管 Prompt-Guard 只是防线的一部分，但它揭示了企业在使用 AI 时面临的潜在威胁。Meta 正在积极寻找解决方案以增强模型的安全性。

Meta公司使用16384块GPU训练最新AI模型Llama3.1，展现了AI技术的惊人发展速度。然而，这一过程中平均每3小时即发生一次故障，共发生419次故障，其中约一半与H100 GPU及其HBM3内存相关。这一数据揭示了超算系统在追求性能突破时面临的可靠性挑战。Llama3.1训练集群的复杂性堪比小型城市神经网络，故障频发。Meta团队采取策略，如减少作业启动和检查点时间，开发诊断工具，以提高系统容错能力和自动化处理能力。同时，环境因素和功耗波动也对超算集群构成挑战，温度变化和GPU功耗波动影响训练性能。这些经验为AI行业提供了宝贵的学习机会，展示了在追求技术极限过程中所面临的真实挑战。

Meta的科学家Thomas Scialom揭示了Llama3.1的开发秘诀，其405B的参数规模是为了对抗GPT-4。通过增加训练的token数而非架构，Llama3.1实现了模型规模与训练数据总量的优化平衡，达到了知识深度与广度的飞跃。数据选择上，Scialom更倾向于合成数据而非公开互联网文本。Llama3.1的评估与改进采用奖励模型和多样化基准，同时引入了Toolformer等agent工具的开发，标志着AI领域的创新探索。Llama3.1的开源是Meta对未来AI的一次大胆尝试。Llama4的启动将重点放在agent技术上，预示着Meta在AI领域的持续领导地位和未来AI的重新定义。

OpenAI宣布推出GPT-4o mini，提供每日200万训练token免费微调，持续至9月23日，旨在推动AI技术进步与开发者创新。该模型在性能上与GPT-4o并驾齐驱，但价格仅为后者1/20，且在训练成本、上下文长度和智能水平上均有显著优势。免费期后，将继续以优惠价格提供服务。GPT-4o mini的微调功能将首先向企业客户和特定开发者层级开放，未来将逐步扩大访问权限。这一举措不仅降低了AI应用开发的门槛，还可能加速AI技术的普及与创新。

Mistral AI在今日推出了旗舰模型Mistral Large2，该模型参数规模达1230亿，拥有128k上下文窗口，支持包括法语、德语、西班牙语等在内的多种语言及编程语言。Mistral Large2设计为单节点推理，适用于长上下文应用，且在性能上表现优异，在MMLU基准测试中准确率高达84.0%。此外，Mistral Large2具备多语言处理能力，已在多语言MMLU基准上进行过评估。用户可通过La Plateforme访问该模型，Mistral AI还与多家云服务提供商合作，实现全球范围内的应用。

Meta推出了Llama3.1开源模型系列，包含405B参数版本，性能媲美GPT-4。其中，8B参数版本Llama3.1-8B-Instruct支持多国语言，上下文长度达131072tokens，通过2500万条合成数据训练，展现出与GPT3.5Turbo相似的认知和推理能力。OpenBuddy基于此模型，发布支持中文问答和跨语言翻译的OpenBuddy-Llama3.1-8B-v22.1-131K，尽管在中文知识特别是传统文化方面有限，但长文理解能力相对稳定。未来计划对更大模型进行更大规模训练，以增强中文知识和认知能力。

亚马逊云科技已在其Amazon Bedrock平台上推出Llama3.1模型，这是由Meta开发的先进AI模型系列，涵盖8B、70B和405B三种参数量，表现出类拔萃的性能，支持包括英语、德语等8种语言的多种对话用例。模型包括Llama3.1405B，适用于企业级应用和研发，擅长通用知识、长篇文本生成等；Llama3.170B适用于内容创作、对话式AI等领域，具有出色的文本分类和情感分析能力；Llama3.18B则适用于资源有限的场景，具有低延迟推理能力。 该系列模型已在超过150个涵盖广泛语言的基准数据集上进行充分测试，其性能优于Llama3。Amazon Bedrock Guardrails功能能帮助企业创建定制保护措施，确保安全交互，并持续监控模型响应。此外，用户可以通过自动评估或人工评估选择最佳Llama模型，通过Amazon Bedrock构建安全可靠的生成式AI应用程序。 总而言之，Llama3.1模型与Amazon Bedrock的融合为生成式AI应用提供了强大支持，显著提升了人工智能应用的效率、准确率与安全性。

Cloudflare近日宣布，作为Meta公司的首批合作伙伴之一，他们已在Workers AI平台上线了Meta最新发布的Llama3.18B模型。这一举措使得开发者能够在模型发布的第一天就开始使用这一先进的AI工具。

Meta AI发布的Llama3.1模型在性能上与顶级闭源模型并驾齐驱，标志着开源AI重大突破。这是新一代大型语言模型，经过优化的训练栈和大规模GPU计算资源支持，实现多项技术亮点。包括上下文长度扩展至128K，支持8种语言，以及在多个测试领域展现卓越能力。通过迭代的post-training流程，模型不断提高性能，特别是在遵循指令、一致性、多语言翻译上表现出色。Llama3.1在15万亿token上进行的训练是业界首次，采用标准仅解码器的Transformer架构并进行了改进。Meta强调开源AI的开放性、可修改性和成本效率，它将推动AI技术的普及和发展。与多家公司合作发展生态系统，Llama3.1的发布预示开源AI可能成为行业标准，为AI的广泛应用辟新径。

Meta公司首席执行官马克·扎克伯格近日宣布了Llama3.1的正式发布，并表示这可能是开源AI领域的一个重要里程碑。Meta此次推出了三个不同规模的Llama3.1模型，其中最引人注目的是拥有4050亿参数的大型模型。扎克伯格称这是"目前最先进的开源模型"，在某些领域甚至可以与领先的闭源模型相媲美。