OpenAI和DeepMind在Scaling Laws研究中有不同观点和方法。Scaling Laws能预测大模型在参数量、数据量和计算量变动时的损失变化。他们的竞争将推动人工智能的发展,影响人机共存的未来。在大语言模型的预训练过程中,涉及模型大小、数据量、训练成本的权衡博弈。Scaling Laws可以帮助优化设计决策。DeepMind提出模型大小和数据量应按相等比例扩展,而OpenAI倾向于选择更大的模型。DeepMind开发了AlphaGo和AlphaFold,展示了深度强化学习和神经网络的潜力,而OpenAI则开发了GPT系列模型,在生成式模型上展示了非凡能力。研究结论表明影响模型性能的三个要素相互影响,DeepMind的Chinchilla模型表现优异。国内的百川智能和明德大模型也在Scaling Laws研究中有所贡献。DeepMind提出了Levels of AGI分类方法,揭示了人工智能不同发展阶段。