近日，来自上海交通大学和哈佛大学的研究团队推出了一种全新的模型微调方法 ——LoRA-Dash。这个新方法声称比现有的 LoRA 方法更加高效，特别是在特定任务的微调中，它可以在参数量减少8到16倍的情况下，依然达到相同的效果。这无疑是对那些需要大量计算资源的微调任务的一次重大突破。在大规模语言模型快速发展的背景下，微调特定任务的需求日益增长。然而，微调往往需要消耗大量的计算资源。为了解决这一问题，研究团队引入了参数高效微调（PEFT）策略，LoRA 就是一个典型的例

​深圳元象信息科技有限公司近日宣布，公司已成功发布中国最大的Mixture of Experts（MoE）开源大模型——XVERSE-MoE-A36B。这款模型的发布标志着中国在AI领域的一大进步，将国产开源技术提升至国际领先水平。

Nvidia研究团队利用模型剪枝和蒸馏技术，成功推出Llama-3.1-Minitron4B，这是Llama3模型的压缩版本，旨在实现设备上的人工智能。该模型通过深度剪枝和宽度剪枝技术，减少了原始8B模型的参数量，同时保持了与更大模型相近的性能。在训练数据量大幅减少（40倍）的情况下，该模型在MMLU基准测试中的性能提升了16%。该成果通过NVIDIA的NeMo-Aligner进行微调，适用于指令跟随、角色扮演、检索增强生成（RAG）和函数调用等任务。宽度剪枝版本已发布于Hugging Face平台，支持商业使用，为用户和开发者提供高效、性能卓越的模型选择。

LG AI 研究部门推出韩国首个开源 AI 模型 Exaone3.0，拥有78亿个参数，旨在加速 AI 研究并构建强大的 AI 生态系统。此模型在韩语和英语任务中表现出色，通过开源策略，LG 展示了技术实力，可能为云计算和 AI 服务开辟新的收入来源。面对全球 AI 竞争，LG 与阿里巴巴等公司相似，通过开源 AI 模型推动云业务增长。Exaone3.0在性能上表现出色，包括减少推理时间、降低内存使用和运营成本，经过专业数据训练，计划进一步扩展数据量。此模型的成功有望改变 AI 市场格局，为 LG 带来多元化的 AI 和云服务收入，并促进全球 AI 技术普及。

​上海人工智能实验室在2024年7月4日的WAIC科学前沿主论坛上推出了书生·浦语系列模型的新版本InternLM2.5。这个版本在复杂场景下的推理能力得到了全面增强，支持1M超长上下文，并能自主进行互联网搜索及整合上百个网页的信息。

近日，由国家超级计算成都中心、中国地震局地球物理研究所和清华大学联合开发的"谛听"地震波大模型在四川成都正式发布。该模型是国内首个达到亿级参数量的地震波大模型，标志着我国地震学研究和人工智能技术融合的重要突破。

CatVTON是一款专为时尚爱好者设计的轻量级AI虚拟换衣模型，总参数为899.06M，训练时只需49.57M可训练参数。推理时显存需求低于8G，支持1024x768高分辨率，适合个人电脑操作。该模型具备在ComfyUI和Gradio应用上快速部署的能力，支持VITON-HD和DressCode数据集的推理，并提供多种精度选项，以适应不同硬件条件。CatVTON利用基于Stable Diffusion v1.5的图像修复技术，结合SCHP和DensePose，能自动生成面具，提升试妆体验。

​值得买科技与大模型公司MiniMax宣布建立官方合作伙伴关系，MiniMax的大模型产品海螺AI已经整合进值得买的"消费大模型增强工具集"。通过海螺AI的"悬浮球"功能，用户现在能够快速进行比价和购买操作。这次合作不仅丰富了值得买科技的AI生态系统，也推动了与大模型行业伙伴的共建共赢。

北京智源人工智能研究院与中国电信人工智能研究院合作，推出Tele-FLM系列大模型升级版，包括52B指令模型FLM-2-52B-Instruct与万亿参数模型Tele-FLM-1T。FLM-2-52B-Instruct通过指令微调，专注于提升中文对话能力，达到GPT-4水平的90%，基于Tele-FLM-52B基座模型，使用特定数据集和参数优化。Tele-FLM-1T作为全球首个万亿参数稠密模型，采用生长式预训练策略，优化结构与参数设置，包括加入特定组件与改进预训练策略，显著提升模型效率与效果。所有模型与技术报告均已开源，提供给学术界与产业界进行研究与应用。

Mistral AI在今日推出了旗舰模型Mistral Large2，该模型参数规模达1230亿，拥有128k上下文窗口，支持包括法语、德语、西班牙语等在内的多种语言及编程语言。Mistral Large2设计为单节点推理，适用于长上下文应用，且在性能上表现优异，在MMLU基准测试中准确率高达84.0%。此外，Mistral Large2具备多语言处理能力，已在多语言MMLU基准上进行过评估。用户可通过La Plateforme访问该模型，Mistral AI还与多家云服务提供商合作，实现全球范围内的应用。

Meta AI发布的Llama3.1模型在性能上与顶级闭源模型并驾齐驱，标志着开源AI重大突破。这是新一代大型语言模型，经过优化的训练栈和大规模GPU计算资源支持，实现多项技术亮点。包括上下文长度扩展至128K，支持8种语言，以及在多个测试领域展现卓越能力。通过迭代的post-training流程，模型不断提高性能，特别是在遵循指令、一致性、多语言翻译上表现出色。Llama3.1在15万亿token上进行的训练是业界首次，采用标准仅解码器的Transformer架构并进行了改进。Meta强调开源AI的开放性、可修改性和成本效率，它将推动AI技术的普及和发展。与多家公司合作发展生态系统，Llama3.1的发布预示开源AI可能成为行业标准，为AI的广泛应用辟新径。

Meta公司首席执行官马克·扎克伯格近日宣布了Llama3.1的正式发布，并表示这可能是开源AI领域的一个重要里程碑。Meta此次推出了三个不同规模的Llama3.1模型，其中最引人注目的是拥有4050亿参数的大型模型。扎克伯格称这是"目前最先进的开源模型"，在某些领域甚至可以与领先的闭源模型相媲美。

近期，有着4050亿参数的开源大型语言模型LLama3.1因在Reddit上泄露，引发了广泛关注，被视为目前最接近GPT-4o的开源产品，甚至在某些性能上超越了GPT-4o。模型由Meta（原Facebook）推出，包括基础与70B版本的基准测试结果，在多项性能测试上均超出GPT-4o。LLama3.1在多语言支持能力与广泛训练数据集（逾15T tokens、直至2023年底）的基础上提供出色的多语言对话性能。研究团队注重模型安全，通过多方位数据收集策略，结合人工与合成数据，引入边界和对抗性提示以优化数据质量。此开源模型的泄露，不仅展示了强大性能，也成为表明开源社区对大型AI模型发展的积极贡献。

苹果公司及其合作伙伴推出了一款名为DCLM的开源大型语言模型，拥有7亿参数，通过使用2.5万亿个数据令牌进行训练，显著提升理解与生成语言的能力。DCLM的核心是一个标准化的数据集优化工具，供研究人员在Hugging Face平台上进行实验，旨在评估不同数据集质量与改进方法。研究表明，利用DCLM建立的基准数据集能够训练出在关键测试中表现出色的模型，尤其是在MMLU基准测试中，5-shot准确率得到了显著提升（达64%），并且在资源消耗上较其他领先模型减少了40%。这一成就表明DCLM不仅为自然语言处理领域提供了重要资源，也展示了优化策略如何在模型性能提升与资源效率之间实现平衡。

大型语言模型（LLMs）因出色的自然语言处理能力而闻名，但在实践中，它们的推理阶段面临高计算成本和内存占用的挑战。为了提高LLMs效率，研究人员引入了一项名为 Q-Sparse 的技术。Q-Sparse 方法通过在激活中应用 top-K 稀疏化和直通估计器，实现了完全稀疏激活的状态压缩，显著提升推理效率。研究发现，Q-Sparse 能在保持结果与 baseline LLMs相当的条件下，提高推理效率。这种方法适用于全精度和 1 位（如 BitNet b1.58）LLMs。 稀疏激活通过减少矩阵乘法和输入/输出传输量来提高效率。Q-Sparse 在每个线性投影中实现全激活稀疏化，通过 top-K 稀疏化函数实现与反向传播中梯度计算的直通估计器相结合，进一步提高了激活稀疏性。采用平方 ReLU 函数提高激活稀疏性。 实验结果揭示，随着模型大小和稀疏比率的增加，稀疏激活模型的性能提高，这也适用于从头开始训练、已有的 LLMs 继续训练和微调。Q-Sparse 还被应用于包括 BitNet b1.58 和混合专家（MoE）在内的 LLMs，并探索兼容批量模式的优化以增加训练和推理的灵活性。

Hugging Face新发布SmolLM, 一款小型高效AI工具。其特点是参数范围从135M到1.7B，旨在适应各种设备，如手机和笔记本电脑。SmolLM因其小巧、性能强和低资源需求而独特，其设计旨在保护用户隐私。基于精心挑选的SmolLM-Corpus数据集，模型在教育和合成数据上展现出色学习能力。 SmolLM系列包括三种模型版本：135M、360M和1.7B参数，均能够执行多种任务，并能根据硬件配置灵活运行。尤其值得一提的是，尽管数据训练量更小，SmolLM-135M仍显著超越同类产品，成为参数小于200M的领导者。在关键基准测试中，SmolLM展现出在各自尺寸类别中优秀的性能，尤其是其在常识推理和世界知识理解上的性能，远超其他同类模型。通过特别调教，SmolLM在理解指令和问题解答上表现出彩。此外，Hugging Face提供了WebGPU演示，方便用户直接体验模型能力。这一发布证明了即使在资源受限的情况下，高质量的训练数据也能生成惊人的表现。

本文讨论了一项由微软与麻省理工学院等机构研究人员合作开发的突破性机器学习训练策略，主要焦点在于解决大型机器学习模型在逻辑推理方面的局限性。该策略通过独特且创新的训练方法，显著提升了模型的逻辑推理能力，能够构建因果关系并从数据中学习。研究人员还传授了基础的逻辑和数学公理，使模型能够理解因果逻辑。尽管模型规模适中（仅6700万参数），但其推理能力却能媲美更大更复杂（如GPT-4）的模型。这项研究的创新在于，通过“公理训练”方式教会AI识别与应用因果规则，提升其学习因果关系的能力。该技术不仅让AI能够从数据中学习理解世界，还为其在更广泛的图结构中应用因果推理打下基础。这一发现为AI的发展开辟了新路径，尤其是在理解和解释复杂现实世界的因果关系方面。通过这个研究，我们展望未来AI不仅能够从数据中学习，还能够像人类一样，理解和解读“因为...所以...”的逻辑关系，极大地提升了AI的智能水平和应用潜力。

Meta AI 研究人员推出了 MobileLLM，这是一种为智能手机和其他资源受限的设备设计高效语言模型的新方法。这项研究于2024年6月27日发布，挑战了有关有效 AI 模型必要规模的假设。

​Nvidia 最近宣布推出两项突破性的人工智能技术:HelpSteer2和 Llama3-70B-SteerLM-RM。这些创新承诺在各种应用中显著增强 AI 系统的能力，从自动驾驶到自然语言处理。

近日，摩尔线程与全学科教育AI大模型“师者AI”联合宣布，双方已完成大模型训练测试。依托摩尔线程夸娥（KUAE）千卡智算集群，师者AI顺利完成了70亿参数大模型的高强度训练，用时一周，训练效率达到预期，充分展示了国产全功能GPU千卡千亿训练平台的能力。