先日、ウォートン・スクール教授のエサン・モリック氏がAnthropic社に関する情報を明らかにしました。同社の広報担当者は、主力AIモデルClaude 3.7 Sonnetのトレーニングコストは「数千万ドル」であり、使用された計算能力は10^26FLOP未満であると説明したと、モリック氏は述べています。また、Anthropic社はSonnet 3.7を10^26FLOPモデルとは見なしていないものの、将来のモデルははるかに大規模になるだろうとも伝えたとのことです。TechCrunchはAnthropic社に確認を求めていますが、記事執筆時点では回答を得ていません。
以前、Anthropic社の最高経営責任者（CEO）ダリオ・アモデイ氏は、Claude 3.5（Sonnetの前身）は2024年秋にリリースされた際、トレーニングコストも数千万ドルだったと明かしていました。これは2023年の最先端モデルと比較して非常に有利なコストです。例えば、OpenAIがGPT-4の開発に費やした費用は1億ドルを超え、スタンフォード大学の研究では、GoogleがGemini Ultraモデルのトレーニングに約2億ドルを費やしたと推定されています。
しかし、アモデイ氏は、将来の人工知能モデルには数十億ドルの費用がかかると予想しており、これは安全テストや基礎研究などの費用は含まれていません。また、人工知能業界が長時間の課題解決に適した「推論」モデルを採用するにつれて、モデルの運用コストは上昇し続ける可能性があります。
