科学家创新技术成功训练ChatGPT级别万亿参数模型
站长之家
18
科学家利用全球最强超级计算机成功训练ChatGPT级别模型,仅使用8%计算能力。该突破来自Oak Ridge National Laboratory,研究团队采用创新技术在Frontier超级计算机上训练了万亿参数的语言模型。通过分布式训练和并行技术,实现了100%弱扩展效率。然而,训练大型语言模型仍面临挑战,需要解决内存问题。研究为未来训练巨大语言模型提供经验,突显了分布式训练和并行计算的关键作用。
© 版权所有 AIbase基地 2024, 点击查看来源出处 - https://www.aibase.com/zh/news/4803