Meta 作为大型开源基础语言模型 Llama 的开发者，认为未来训练模型所需的计算力将大幅增加。
周二，在 Meta 的第二季度财报电话会议上，马克·扎克伯格透露，训练 Llama4所需的计算力将是训练 Llama3的10倍。他强调，即便如此，Meta 也要构建训练模型的能力，以免落后于竞争对手。
扎克伯格表示:“训练 Llama4所需的计算量可能几乎是训练 Llama3的10倍，而且未来的模型所需计算量还会继续增加。”他还指出，难以预测未来多代模型的发展趋势，但此刻宁愿提前建设所需能力，也不愿为时过晚，毕竟启动新的推理项目需要很长的准备时间。
今年4月，Meta 发布了拥有800亿参数的 Llama3。上周，该公司又发布了其升级版 Llama3.1405B，参数达到4050亿，成为 Meta 最大的开源模型。
Meta 的首席财务官苏珊·李也表示，公司正在考虑不同的数据中心项目，并为训练未来的 AI 模型建设能力。她称，Meta 预计这项投资将增加2025年的资本支出。
要知道，训练大型语言模型可是个烧钱的业务。2024年第二季度，Meta 的资本支出在服务器、数据中心和网络基础设施等方面的投资推动下，从一年前的64亿美元增加到85亿美元，增长近33%。
划重点:
🎯Meta 训练 Llama4所需计算力约为训练 Llama3的10倍。
🎯Meta 预计投资建设能力将增加2025年资本支出。
🎯训练大型语言模型成本高昂，Meta 二季度资本支出大幅增长。