zh
红薯智语
每月不到10元,就可以无限制地访问最好的AIbase。立即成为会员
首页
AI资讯
AI日报
变现指南
AI教程
AI工具导航
AI产品库
zh
红薯智语
搜索全球AI产品动态
搜索全球AI信息,发现AI新机遇
新闻资讯
产品应用
变现案例
AI教程
类型 :
新闻资讯
产品应用
变现案例
AI教程
2024-09-11 11:47:28
.
AIbase
.
11.7k
Nous Research推出优化器DisTrO,普通网络条件也可以训练AI模型了
Nous Research 团队发布了一种名为 DisTrO 的新优化器,旨在降低分布式互联网训练中的信息传输需求,显著提升 AI 模型训练效率。DisTrO 可以在普通网络条件下进行训练,允许全球个人和机构通过自家电脑参与 AI 开发,打破了大公司垄断 AI 训练的局面。相较于传统算法 All-Reduce,DisTrO 效率提升高达 857 倍,每步训练所需传输的信息量从 74.4GB 降低到 86.8MB。这项技术使 AI 训练成本降低,让更多人能够参与,并减少了对高性能 GPU 的依赖,使得训练在速度较慢的互联网连接下也能进行。通过 DisTrO,研究人员和机构能够更自由地进行创新和实验,推动技术进步,惠及社会。该技术的开放性使得 AI 模型训练变得更加灵活,支持全球分散的 GPU 协同工作,减少了对大型数据中心的需求,对环境影响更小。DisTrO 的应用不仅限于大型语言模型,还适用于其他类型的 AI 训练,为未来 AI 发展提供了新的可能性。
2024-08-16 16:31:55
.
AIbase
.
11.1k
小而强悍!10人团队炼出首个微调Llama 3.1 405B
一个仅有10人的初创公司Nous Research,以其名为Hermes3的AI模型挑战了科技巨头Meta的地位。Hermes3基于Llama3.1的模型进行微调,性能强大,优化了VRAM和磁盘需求,能够在单个节点上运行。该模型在对话能力、理解文本质量以及集成智能体能力方面表现出色,展现了一种超越传统语言建模的高级能力。Nous Research专注于开源,发布了一系列数据集和模型,表明了实力和创新能力并不取决于团队规模。