Hugging Face今天发布了SmolLM2，一组新的紧凑型语言模型，实现了令人印象深刻的性能，同时所需的计算资源比大型模型少得多。新模型采用Apache2.0许可发布，有三种大小——135M、360M和1.7B参数——适合部署在智能手机和其他处理能力和内存有限的边缘设备上。SmolLM2-1B模型在几个关键基准测试中优于Meta的Llama1B模型，尤其是在科学推理和常识任务中表现出色。该模型在大多数认知基准上的表现都优于大型竞争模型，使用了包括FineWeb-Edu和专门的数学和编码数据集在内的多样化数据集组合。SmolL

在未来的2025年，生成式人工智能（GenAI）有望迎来一个关键的转折点，届时我们将更清楚地看到其真正潜力的展现。随着对其在各个行业多种应用案例的分析逐步深入，原本笼罩在噪音中的 GenAI 将逐渐显露出其真实的面貌。最近，Hieb 认为，企业在投资 GenAI 时并不一定要选择昂贵而复杂的解决方案。实际上，越来越多的企业发现，大型语言模型（LLMs）并不总是适用于某些具体目标。图源备注:图片由AI生成，图片授权服务商Midjourney相比之下，小型语言模型（SLMs）因为参数较少，通常更加经

最近，Zyphra 正式推出了 Zamba2-7B，这是一款具有前所未有性能的小型语言模型，参数数量达到7B。这款模型号称在质量和速度上超越了目前的竞争对手，包括 Mistral-7B、谷歌的 Gemma-7B 以及 Meta 的 Llama3-8B。Zamba2-7B 的设计目标是满足那些需要强大语言处理能力但又受限于硬件条件的环境，比如在设备上处理或使用消费级 GPU。通过提高效率而不牺牲质量，Zyphra 希望能让更广泛的用户，无论是企业还是个人开发者，都能享受到先进 AI 的便利。Zamba2-7B 在架构上做了很多创新，提升了模型的效率和表

最近，微软公司宣布，其人工智能副总裁塞巴斯蒂安・布贝克将离开公司，加入 OpenAI。对于这位在微软工作了整整十年的资深员工来说，这无疑是一个重大的职业转折。图源备注：图片由AI生成，图片授权服务商Midjourney布贝克在微软期间，主要负责小型语言模型的研发。小型语言模型是一种致力于在效率和效果之间寻找平衡的技术，目的是在不牺牲性能的情况下，实现与大型 AI 系统相似的功能。微软与 OpenAI 的关系十分复杂，既是投资者也是竞争对手。这让布贝克的转会变得更加引人注目

Nvidia研究团队利用模型剪枝和蒸馏技术，成功推出Llama-3.1-Minitron4B，这是Llama3模型的压缩版本，旨在实现设备上的人工智能。该模型通过深度剪枝和宽度剪枝技术，减少了原始8B模型的参数量，同时保持了与更大模型相近的性能。在训练数据量大幅减少（40倍）的情况下，该模型在MMLU基准测试中的性能提升了16%。该成果通过NVIDIA的NeMo-Aligner进行微调，适用于指令跟随、角色扮演、检索增强生成（RAG）和函数调用等任务。宽度剪枝版本已发布于Hugging Face平台，支持商业使用，为用户和开发者提供高效、性能卓越的模型选择。

微软宣布推出针对Phi-3小型语言模型的无服务器微调功能，允许开发者在Azure AI平台上轻松调整模型性能，无需管理底层基础设施，且初期免费。Phi-3模型，拥有30亿参数，适合企业开发者使用，提供高效性能，成本较低。与OpenAI的GPT-3.5相比，虽参数量较小，但在多种应用中表现相近。无服务器微调简化了操作，降低了门槛，并支持小型和中型模型的微调。这一功能的发布旨在帮助企业开发者根据需求优化模型，如Khan Academy已应用于教育软件。竞争加剧，微软此举与OpenAI、Meta和Mistral等提供商的竞争，推动AI领域发展。

英伟达(NVIDIA)近期推出Minitron系列小型语言模型，包含4B和8B版本，显著提升训练速度至40倍，并大幅降低资源和数据需求，实现成本节省。通过结合“修剪”和“知识蒸馏”技术，Minitron模型在保持性能的同时，缩小规模，使得开发者能以更低成本利用先进技术进行翻译、情感分析和对话AI等应用。Minitron模型的开源，让更多人能轻松获取和使用，加速AI技术的普及。

["2023年是人工智能领域长期以来最具颠覆性的一年，大量生成式人工智能产品进入主流。","继续其变革之旅，生成式人工智能有望在2024年从兴奋的话题转变为现实世界的应用。","生成式人工智能领域正在迅速发展，催生了一系列广泛的趋势，这些趋势将促进人工智能在各行各业的采用及其在我们日常生活中的存在。","生成式人工智能模型通过集成多模式多功能性超越了文本创建。"]