先日、世界的な人工知能に関するトップレベルの学術会議であるAAAI 2025において、アリババデジタルテクノロジー、浙江大学、リバプール大学、華東師範大学の合同チームが、革新的なクロスドメイン微調整（オフサイトチューニング）フレームワークであるScaleOTを発表しました。このフレームワークは、モデルの性能を損なうことなく、プライバシー保護効果を50％向上させ、知識蒸留技術と比較して、計算コストを90％削減します。これは、数十億パラメーターを持つモデルのクロスドメイン微調整に、効率的で軽量なソリューションを提供するものであり、その革新性からAAAIの口頭発表に選出されました。

百度スマートクラウドは最近、国内初の自社開発昆侖芯3世代万卡クラスタの点灯に成功しました。この画期的な進歩は、百度の人工知能計算力分野における重要な一歩となるだけでなく、業界全体に新たな発展の方向性を提示するものです。技術の進歩に伴い、大規模モデルのトレーニングと応用を支えるためには、計算力の向上は極めて重要となっています。過去1年、AI技術の普及に伴い、多くの企業が計算力不足の問題に直面しており、これによって大規模モデルの使用コストの高騰が直接的な問題となっています。百度側は、自社開発チップによって…

2024年のAWS re:Inventカンファレンスで、Amazon Web Services（AWS）はTrainium2チップベースのAmazon Elastic Compute Cloud（EC2）インスタンスを発表し、正式にユーザーに提供開始しました。この新しいインスタンスは、GPUベースの旧世代EC2インスタンスと比較して、価格性能比で30～40％の向上を実現しています。AWS最高経営責任者（CEO）のアンドリュー・J・ジャシー氏は、「Trainium2駆動の…」と発表しました。

アンドリュー・ン氏(吴恩达)は、データと機械学習の組み合わせがテクノロジー市場におけるリーダーの優位性を強化し続けると主張しています。一方、a16zのパートナーは、各モデルは単一のタスクに特化し、データ量が多いほど必ずしも優れた製品になるとは限らないという見解を示しています。業界やユースケースによって「勝者総取り」の状況は異なり、個別に分析する必要があります。インターネット時代の投資論理は、計算コストを考慮しなければならないAI時代には通用しません。小規模で専門的なロングテールモデルにも優位性があり、富の分配はより公平になる可能性があります。

「マイクロソフトは、すべてのアプリとアプリケーションがAIによって最適化されるべきだと考えており、過去6ヶ月間で、社内のほぼすべての製品をAIベースで書き直しました。」「大規模モデルは高コストを意味し、そのコストは常に制御不能です。」「大規模モデルのコストには、ハードウェアコスト、コンピューティングコスト、ネットワークコスト、アルゴリズムコストなどがあり、コンピューティングコストはその一部に過ぎません。」