【AIデイリー】へようこそ！ここは、毎日人工知能の世界を探求するためのガイドです。毎日、開発者に焦点を当て、技術トレンドを洞察し、革新的なAI製品アプリケーションを理解するのに役立つ、AI分野のホットなコンテンツをお届けします。
バイトダンスは、最近話題になっている「インターンによる大規模モデル訓練の妨害」について公式に声明を発表しました。同社は、商業化技術チームの研究プロジェクトのモデル訓練タスクにおいて、インターンが不正に干渉したことを認めました。しかし、この行為は同社の正式な商業プロジェクトやオンラインサービスには影響しておらず、バイトダンスの他の大規模モデル事業にも関与していません。また、ネット上で流布している「8000枚以上のGPUカードが関与し、数千万ドルの損失が発生した」という情報は大幅に誇張されていると指摘しています。公開報道によると、このインターンはバイトダンスの商業化技術チームで...
テンセントクラウドは最近、大規模モデルのトレーニング効率を向上させることを目的としたアップグレード版の星脈ネットワーク2.0を発表しました。以前のバージョンでは、大規模モデルの計算結果の同期通信時間が50％以上を占め、効率が低下していました。新バージョンの星脈ネットワーク2.0では、複数の側面でアップグレードが実施されました。
先日、ムーアセラードと全学科教育AI大規模モデル「師者AI」は、大規模モデルの訓練テストを完了したと発表しました。ムーアセラードの夸娥（KUAE）千カード智算クラスターを活用し、師者AIは70億パラメーターの大規模モデルの高強度訓練を1週間で完了し、訓練効率は期待通りでした。これは、国産のフルファンクションGPU千カード、千億訓練プラットフォームの能力を十分に示しています。
5ヶ月にわたる努力の末、Keras 3.0がTensorFlow、JAX、PyTorchフレームワークを全面的にサポートするようになりました。新しい大規模モデルのトレーニングとデプロイ機能が導入され、様々な事前トレーニング済みモデルをサポートします。Keras 2.0との高い後方互換性を備えており、スムーズな移行が可能で、コードの変更は不要です。tf.data.Dataset、torch.utils.data.DataLoaderなど、フレームワークを跨いでのデータパイプラインをサポートしています。リリースされた分散型APIは、マルチデバイスモデルのシャーディングに対応します。
清華大学とマイクロソフトは共同で、大規模言語モデルの生成速度を向上させるSoT手法を発表しました。SoT手法は、出力内容の構造を最適化することで、モデル自体を複雑に変更することなく、独自の2段階プロセスを用いて高速化を実現します。Vicuna-80データセットを用いたテストでは、8つのモデルにおいて1.13倍から2.39倍の速度向上を実現し、回答の質も維持しました。SoT手法は、大規模言語モデルをブラックボックスとして扱い、データレベルでの効率最適化を取り入れることで、コンテンツ生成に新たな視点をもたらします。この研究は、大規模言語モデルの速度向上に新たな道を拓きます。
マイクロソフトは、大規模言語モデルのトレーニングに使用されるFP8-LMフレームワークをオープンソース化しました。このフレームワークはFP8混合精度トレーニングを採用し、BF16と比較してトレーニング速度が64%向上、メモリ消費量が42%削減されます。GPT-175Bモデルのトレーニングにおいて、FP8-LMフレームワークはメモリ消費量を42%削減しました。FP8-LMフレームワークにより、トレーニング可能なモデルサイズを最大2.5倍に容易に向上させることができます。
中興通訊は、中小規模モデルのトレーニングと推論ニーズに対応した最新のAIサーバーを発表しました。G5シリーズサーバーを発表し、今年中には大規模モデルのトレーニングに対応した最新のAIサーバーを発表する予定です。
上海AI研究所は、様々なハードウェアに対応し、大規模モデルの訓練コストを大幅に削減するツールキットXTunerを発表しました。XTunerは複数のオープンソース大規模モデルと互換性があり、増分事前学習や指示微調整などのタスクを実行できます。使いやすさと設定可能性を両立しており、標準化されたワークフローにより、ワンクリックで訓練を開始できます。