瑞士洛桑联邦理工学院 （EPFL） 的一项最新研究比较了两种主流的大型语言模型 (LLM) 适应性训练方法:上下文学习 (ICL) 和指令微调 (IFT)。研究人员使用 MT-Bench 基准测试来评估模型遵循指令的能力，发现在特定情况下，两种方法的表现各有优劣。研究发现，当可用的训练样本数量较少时（例如不超过50个），ICL 和 IFT 的效果非常接近。这表明在数据有限的情况下，ICL 或许可以作为 IFT 的替代方案。然而，随着任务复杂度的增加，例如在多轮对话场景中，IFT 的优势就变得明显。研究人员认为，

智源研究院推出了一个名为Infinity-Instruct的千万级指令微调数据集，旨在提升语言模型在对话等方面的性能。近日，Infinity Instruct完成了新一轮迭代，包括Infinity-Instruct-7M基础指令数据集和Infinity-Instruct-Gen对话指令数据集。

近日，来自上海交通大学和哈佛大学的研究团队推出了一种全新的模型微调方法 ——LoRA-Dash。这个新方法声称比现有的 LoRA 方法更加高效，特别是在特定任务的微调中，它可以在参数量减少8到16倍的情况下，依然达到相同的效果。这无疑是对那些需要大量计算资源的微调任务的一次重大突破。在大规模语言模型快速发展的背景下，微调特定任务的需求日益增长。然而，微调往往需要消耗大量的计算资源。为了解决这一问题，研究团队引入了参数高效微调（PEFT）策略，LoRA 就是一个典型的例

OpenAI公司宣布第三方开发者可对新推出的多模态大型模型GPT-4o进行微调，这一功能允许开发者根据特定需求调整模型行为，如改变语气、遵循指令或提升技术任务准确性。微调仅需少量训练数据即可实现显著性能提升，操作简便。OpenAI为开发者提供9月23日前每天100万Token的免费使用额度，以及200万Token的每日免费额度给GPT-4o mini模型。此举旨在增强模型在编程、创意写作等领域的表现，并提升与竞争对手的市场竞争力。同时，OpenAI强调了数据安全性和隐私保护，确保微调模型不会使用输入输出数据进行再训练。微调功能的成功案例，如Cosine和Distyl公司的应用，证明了这一功能的潜力，推动了每个组织拥有定制化AI模型的愿景。

一个仅有10人的初创公司Nous Research，以其名为Hermes3的AI模型挑战了科技巨头Meta的地位。Hermes3基于Llama3.1的模型进行微调，性能强大，优化了VRAM和磁盘需求，能够在单个节点上运行。该模型在对话能力、理解文本质量以及集成智能体能力方面表现出色，展现了一种超越传统语言建模的高级能力。Nous Research专注于开源，发布了一系列数据集和模型，表明了实力和创新能力并不取决于团队规模。

OpenAI宣布推出GPT-4o mini，提供每日200万训练token免费微调，持续至9月23日，旨在推动AI技术进步与开发者创新。该模型在性能上与GPT-4o并驾齐驱，但价格仅为后者1/20，且在训练成本、上下文长度和智能水平上均有显著优势。免费期后，将继续以优惠价格提供服务。GPT-4o mini的微调功能将首先向企业客户和特定开发者层级开放，未来将逐步扩大访问权限。这一举措不仅降低了AI应用开发的门槛，还可能加速AI技术的普及与创新。

微软宣布推出针对Phi-3小型语言模型的无服务器微调功能，允许开发者在Azure AI平台上轻松调整模型性能，无需管理底层基础设施，且初期免费。Phi-3模型，拥有30亿参数，适合企业开发者使用，提供高效性能，成本较低。与OpenAI的GPT-3.5相比，虽参数量较小，但在多种应用中表现相近。无服务器微调简化了操作，降低了门槛，并支持小型和中型模型的微调。这一功能的发布旨在帮助企业开发者根据需求优化模型，如Khan Academy已应用于教育软件。竞争加剧，微软此举与OpenAI、Meta和Mistral等提供商的竞争，推动AI领域发展。

​近日，人工智能领军企业OpenAI宣布为其新型小规模模型GPT-4o mini推出微调功能，旨在提升模型在特定应用场景中的表现。这一举措将为开发者和企业用户带来更多定制化的AI解决方案。据OpenAI官方消息，从即日起至 9 月 23 日，用户每天可免费微调GPT-4o mini，最高可达 200 万训练Tokens。超出部分将按每百万Tokens 3. 00 美元收费。 9 月 24 日之后，所有微调训练将统一按每百万Tokens 3. 00 美元计费。

大型语言模型（LLMs）因出色的自然语言处理能力而闻名，但在实践中，它们的推理阶段面临高计算成本和内存占用的挑战。为了提高LLMs效率，研究人员引入了一项名为 Q-Sparse 的技术。Q-Sparse 方法通过在激活中应用 top-K 稀疏化和直通估计器，实现了完全稀疏激活的状态压缩，显著提升推理效率。研究发现，Q-Sparse 能在保持结果与 baseline LLMs相当的条件下，提高推理效率。这种方法适用于全精度和 1 位（如 BitNet b1.58）LLMs。 稀疏激活通过减少矩阵乘法和输入/输出传输量来提高效率。Q-Sparse 在每个线性投影中实现全激活稀疏化，通过 top-K 稀疏化函数实现与反向传播中梯度计算的直通估计器相结合，进一步提高了激活稀疏性。采用平方 ReLU 函数提高激活稀疏性。 实验结果揭示，随着模型大小和稀疏比率的增加，稀疏激活模型的性能提高，这也适用于从头开始训练、已有的 LLMs 继续训练和微调。Q-Sparse 还被应用于包括 BitNet b1.58 和混合专家（MoE）在内的 LLMs，并探索兼容批量模式的优化以增加训练和推理的灵活性。

在AI领域，大型语言模型（LLMs）展现出了极高的语言理解和生成能力，如GPT-3和Llama-2等。然而，这些模型的庞大参数量对训练和部署提出了高资源需求的挑战，传统的解决办法是训练多版本模型以适应不同计算环境，但这种做法效率低下。为此，NVIDIA和德克萨斯大学奥斯汀分校提出Flextron框架，一种支持无需额外微调的灵活模型架构和优化方法。Flextron能根据特定的延迟和准确性需求，在推理过程中动态调整模型部署，显著减少对多个模型变体的依赖。通过样本高效训练方法和先进的路由算法，Flextron将预训练的LLMs转化为能够适应各种部署场景的弹性模型，节省计算资源和时间。对比其他最先进的弹性网络，Flextron在效率和准确性上都有出色表现，并通过弹性多头注意力层进一步优化资源利用，特别适合资源有限的计算环境。

快看漫画宣布探索基于开源大模型的微调与二次元垂直大模型训练，旨在提升作品搜索转化率及用户互动体验。通过采用大语言模型（LLM）和检索增强生成技术（RAG）策略，打造知识库，优化生成、召回与排序，以“微调大模型+RAG增强”策略提高效率，减少生成时间，提升回答响应速度。该平台的专属知识库构建，配合意图识别与智能模型应用，强化内容搜索及IP角色的沉浸式互动。自2014年起，快看漫画持续投资AI技术，从推动条漫主流化、深化AI在版权创作与阅读领域的应用，到2023年成立AIGC事业部，进而推出AI数字化创作工作台，旨在通过新技术革新内容创造过程，优化用户体验与内容产能，推动行业升级。生成式AI技术的运用，不仅增强内容创作的效率与个性化，也对提升竞争力与商业价值产生积极影响，体现了人工智能在内容创作领域的革新潜力。

Anthropic现在在Amazon Bedrock中推出了其最新模型Claude3Haiku，开启了客户微调模型的途径。这一创新功能让使用者根据自身业务需求，个性化定制模型的知识与能力，以达到在特定任务上的最佳效果。微调技术通过精细调校模型，针对性地提升其在分类、与自定义API互动及解读行业数据等特定领域的性能。使用Amazon Bedrock控制台或API，用户可对Claude3Haiku进行测试和优化，直至满足所需性能目标并最终部署。微调Claude3Haiku不仅可提高在具体任务上的专业表现，显著优于通用模型，而且还降低生产部署成本，加快结果返回速度，同时保证一致且符合品牌格式的输出，满足法律法规与内部协议需求。用户无需深厚技术背景，即可实现高效创新。据韩电信公司SK Telecom的报道，通过微调Claude模型，显著提升了客户体验和关键指标。全球内容与技术公司Thomson Reuters也取得了亮眼效果，进一步优化在法律、税务等领域的一致用户体验。当前，微调功能已开始在美国西部（俄勒冈）AWS区域进行预览，支持文本微调，最大上下文长度可达32K个tokens。未来，将引入视觉能力的全面部署。

佐治亚理工学院与英伟达的两位华人学者最新共同研发了一款名为RankRAG的创新微调框架，该框架针对复杂RAG流程实现了显著简化，使用单一的LLM对检索、排名及生成任务进行统一操作，效果远超传统流程。RAG技术在辅助大规模文本生成时普遍使用，然而，原有流程敏锐地识别到了如k值选择的局限性：当k值过大使长上下文处理变得吃力，或k值偏小削弱了检索效率。RankRAG创新性地通过微调与扩展LLM能力，使LLM能够自我适应进行检索和排名。相较于常规流程，该框架在数据效率和性能方面都有显著提升。实验证明，通过微调更高效的Llama模型，在多个通用和生物医学领域基准测试中，RankRAG的表现具有一定竞争力，甚至超越了前代顶级模型约10%的水平。这项技术引入了高度交互性和可编辑性的元素，允许用户在生成内容后进行实时编辑与迭代，显著提升工作效率，并且被推广至可与任何平台分享的成果。RankRAG的微调方案分为指令监督与多阶段强化训练两个阶段，旨在提升LLM在不同指令、检索与上下文排名能力上的综合性。通过该框架，AI生成的内容在通用领域性能上超过了目前开源顶级系统。尤其在长尾QA及多跳QA任务中有超10%的性能提升。在适应性应用如生物医学RAG基准Mirage上，即使是未经专门训练的模型，RankRAG也展现出对专业领域任务的超越。随着RankRAG的不断优化与普及，我们期待AI与人类协作流程更加顺利，技术及应用得到更大幅度的发展与创新。欲深入了解RankRAG技术，请访问论文：https://arxiv.org/abs/2407.02485

​韩国主要移动运营商 LG Uplus 于周二正式推出其生成式人工智能模型 ixi-GEN，加入了其两个更大的竞争对手 KT Corp. 和 SK Telecom Co. 的竞争中，争取领导 B2B 生成式 AI 市场。

Midjourney最近推出了一项创新的模型个性化功能，它允许用户根据自己的审美偏好对MJ模型进行微调。这项功能通过分析用户过往喜欢和收藏的图片来实现个性化调整，从而让生成的图像风格更贴近用户的个人喜好。

["基于文本的图像生成技术备受关注，模型能够根据文字描述创建逼真的图像。","研究人员介绍了正交微调（OFT）方法，大大提高了对图像生成模型的控制能力。","OFT 保持模型的语义生成能力，提高了生成质量和效率。","OFT 方法在艺术创作、广告营销等领域具有广泛应用，提供了新的创作可能性。"]

["Hugging Face推出的aMUSEd模型可以在几秒钟内生成图像，相比其他竞争对手如Stable Diffusion更快。","aMUSEd使用了一种轻量级的文本到图像模型，基于Google的MUSE模型。","aMUSEd采用了Masked Image Model（MIM）架构，减少了推理步骤，提高了生成速度和可解释性。","模型可在Hugging Face上的演示中进行尝试，目前以研究预览版形式提供，使用OpenRAIL许可证。","aMUSEd生成的图像质量可以进一步提高，团队选择发布它以“鼓励社区探索像MIM这样的非扩散框架用于图像生成”。"]

["阿里通义实验室开源 AI 图像生成微调框架 SCEdit","SCEdit 框架支持图像生成任务的微调","SCEdit 框架在生成任务中具有高效性能","SCEdit 框架在可控生成任务中实现精准控制","SCEdit 框架节省训练显存开销"]

["零一万物基正式发布并开源微调模型 Yi-34B-Chat","零一万物提供了 4bit/8bit 量化版模型","Yi-34B-Chat 在各项评测中表现出色","Yi 系列模型已在 ModelScope 社区开源","开发者可以在社区中下载、推理和训练这些模型"]

["Cohere宣布全新微调套件，包括聊天、重新排序、多标签分类等功能，助力企业个性化AI应用。","新微调仪表板支持用户管理和运行微调项目，提供测试场地、实时进度监控和价格计算器。","微调加强模型性能，提高生成解决方案准确性60%，聊天解决方案改进40%，30分钟内微调模型训练，1分钟内上线。","Cohere计划扩充伦敦研究中心员工数量，通过微调满足企业定制模型、提高性能、降低成本，为各种AI应用提供更好性能。"]