百川智能Baichuan 3は、超千億パラメーターの大規模言語モデルです。複数の権威ある汎用能力評価において優れた性能を示しており、特に中国語のタスクにおいてはGPT-4を上回っています。自然言語処理、コード生成、医療タスクなどの分野で優れた性能を発揮し、動的データ選択、重要度保持、非同期チェックポイント保存などの革新的な技術的手法を採用することでモデル能力を向上させています。訓練過程では因果サンプリングによる動的訓練データ選択方案を採用し、データ品質を保証しています。また、重要度保持に基づく漸進的初期化手法を導入することで、モデル訓練の安定性を最適化しています。さらに、並列訓練に関する一連の最適化を実施し、性能を30％以上向上させています。