最近，人工智能研究公司 Epoch AI 发布了一款互动模拟器，专门用于模拟训练大型语言模型所需的计算能力。通过这款模拟器，研究人员发现，虽然可以使用2012年的老旧显卡（如 GTX580）来训练 GPT-4，但成本将是如今现代硬件的十倍。Epoch AI 的研究显示，训练 GPT-4所需的浮点运算次数（FLOP）在1e25到1e26之间。为了进行这项研究，模拟器分析了不同显卡的效率，特别是在模型规模扩大时的表现。结果表明，随着模型的增长，效率通常会降低。以近年来推出的 H100显卡为例，它能在较长时间内保

在人工智能的浩瀚宇宙中，数学曾被视为机器智能最后的堡垒。如今，一个名为FrontierMath的全新基准测试横空出世，将AI的数学推理能力推向了前所未有的极限。Epoch AI携手60多位数学界顶级大脑，共同打造了这个堪称"数学奥林匹克"的AI挑战场。这不仅仅是一次技术测试，更是对人工智能数学智慧的终极拷问。想象一个充满了世界顶级数学家的实验室，他们精心设计出数百道超越常人想象的数学难题。这些问题横跨数论、实分析、代数几何和范畴论等最前沿的数学领域，复杂程度令人咋舌。

根据 AI 研究公司 Epoch AI 的分析，谷歌可能拥有全球最大的人工智能计算能力。这一领先地位主要归功于其自主研发的张量处理单元（TPU），其计算能力相当于至少60万个 Nvidia H100GPU。Epoch AI 的研究人员指出，考虑到谷歌庞大的 TPU 阵列以及其使用的 Nvidia GPU，谷歌很可能是目前任何单一公司中 AI 计算能力最强的。尽管谷歌在总计算能力上占据领先，但 Nvidia 在 AI 芯片市场依然是主导者。自2022年初以来，Nvidia 已销售了计算能力相当于大约300万个 H100GPU 的 AI 芯片。这些芯片主要被四大云服务

《经济学人》杂志文章指出，AI公司面临因互联网高质量数据枯竭导致的"数据墙"挑战，预测到2028年，所有高质量文本数据将被用尽，影响机器学习进展。加州大学伯克利分校教授斯图尔特·罗素曾警告ChatGPT等AI可能耗尽宇宙中的文本。然而，斯坦福大学教授李飞飞表示，仍存在大量差异化数据可挖掘。为解决数据短缺，使用合成数据成为可能的解决方案，但《自然》杂志论文提出使用AI生成的数据集训练模型可能导致"模型崩溃"，建议保留原始数据，使用多样化数据源，并研究更鲁棒的训练算法。突破"数据墙"限制，确保高质量训练数据的持续供应，是AI行业亟待解决的紧迫课题，需要技术创新和多方合作。