近日，北京大学等科研团队宣布发布了一款名为 LLaVA-o1的多模态开源模型，据称这是首个能够进行自发、系统推理的视觉语言模型，堪比 GPT-o1。该模型在六个具有挑战性的多模态基准测试中表现优异，其11B 参数的版本超越了其他竞争者，如 Gemini-1.5-pro、GPT-4o-mini 和 Llama-3.2-90B-Vision-Instruct。LLaVA-o1基于 Llama-3.2-Vision 模型，采用了 “慢思考” 推理机制，能够自主进行更加复杂的推理过程，超越了传统的思维链提示方法。在多模态推理基准测试中，LLaVA-o1的表现超出了其基础模型8.9%。该模型的

Arcee AI 推出 SuperNova，一款针对企业部署的 700 亿参数大型语言模型，旨在提供强大、可拥有、注重数据隐私、模型稳定性和定制化的 AI 解决方案。SuperNova 采用 Meta 的 Llama-3.1-70B-Instruct 架构，并通过创新的后训练过程，具备先进指令遵循能力。它支持企业完全定制，并允许在企业自有云环境中部署，确保数据隐私和稳定性。与基于 API 的服务相比，SuperNova 提供了更灵活的控制和稳定性。此外，SuperNova 支持模型的微调和持续改进，允许根据企业需求进行个性化调整。Arcee 还发布了开源组件，包括免费 API、8B 参数的开源版本模型和数据集生成管道，以促进开发者社区的评估和定制。SuperNova 的性能在数学推理领域表现出色，并提供了对第三方评估的开放性，以验证其性能声明。此模型的发布反映了企业对 AI 解决方案控制和定制需求的增长，以及对数据隐私和模型稳定性的重视。

Nvidia研究团队利用模型剪枝和蒸馏技术，成功推出Llama-3.1-Minitron4B，这是Llama3模型的压缩版本，旨在实现设备上的人工智能。该模型通过深度剪枝和宽度剪枝技术，减少了原始8B模型的参数量，同时保持了与更大模型相近的性能。在训练数据量大幅减少（40倍）的情况下，该模型在MMLU基准测试中的性能提升了16%。该成果通过NVIDIA的NeMo-Aligner进行微调，适用于指令跟随、角色扮演、检索增强生成（RAG）和函数调用等任务。宽度剪枝版本已发布于Hugging Face平台，支持商业使用，为用户和开发者提供高效、性能卓越的模型选择。

aiOS是 "hyperspaceai" 组织开发的世界首个基于 Mistral7B 模型的去中心化 AI 网络。它旨在彻底改变人工智能的可访问性，让用户能够体验到前沿的去中心化人工智能计算。目前该应用程序处于早期开发阶段，提供给 Windows、Linux 和 macOS 用户下载体验。目前已经支持Llama-3，用户可以免费体验。

["Meta 发布两个 24K H100GPU 集群用于训练 Llama-3。","Llama-3 使用 RoCEv2 网络和 Tectonic/Hammerspace 的 NFS/FUSE 网络存储。","预计 Llama-3 将于 4 月末或 5 月中旬上线，可能是多模态模型且会继续开源。","Meta 计划到 2024 年底拥有 600,000 个 H100 的算力。"]

["蚂蚁集团发布了 CodeFuse-CodeLlama-34B 的 4bits 量化版本","量化后的模型可用单张 A10 或 RTX4090 加载","量化后的模型在 Humaneval pass@1 指标上达到 73.8% 的表现","CodeFuse 是蚂蚁自研的代码生成专属大模型","通过提供智能建议和实时支持，提升开发者的研发效率"]