京東零售技術チームは、独自開発の10億規模の売上予測時系列大規模モデル「TimeHF」の成功裏でのリリースを発表しました。このモデルは、人間のフィードバックによる強化学習技術（RLHF）に基づいており、売上予測分野への初の適用となります。予測精度は10％以上大幅に向上し、需要予測における不確実性を大幅に低減しました。この成果は、京東内部の2万種類の商品における自動補充シーンで優れた成果を収めただけでなく、複数の公開データセットにおいても業界の既存レベルを上回り、時系列予測分野における新たなベンチマークとなっています。
京東サプライチェーンアルゴリズムチームは、技術探求の中で、ARIMA、Prophet、初期の深層学習モデルであるLSTM、TCNなどの従来の時系列予測手法は、複雑なパターンの捕捉とゼロショット汎化能力において明らかな不足があることを発見しました。また、既存の時系列大規模モデルは、データセットの質とRLHFスキームにも多くの課題を抱えています。そこで、京東チームは、データセットの構築、モデルの設計、トレーニングスキームの3つの側面で革新を行いました。
データセットの構築において、京東チームは、京東独自のマーケティング売上時系列データ、公開データセット、合成データを統合し、品質フィルタリング、重複除去、多様性ソート、データマッチングなどの手法を用いて、15億サンプルを含む大規模で高品質な複雑なデータセットを構築しました。このデータセットの規模と質は時系列分野において前例がなく、モデルのトレーニングに堅実な基盤を提供しています。
モデルの設計において、京東はPCTLM（Patch Convolutional Timeseries Large Model）モデルを提案しました。このモデルは、パッチベースの手法を採用し、マスクエンコーダーアーキテクチャを用いて時系列をモデル化し、時間位置エンコーディングによるグループ化されたアテンションメカニズムを導入することで、パッチ間の情報を効果的に捕捉し、複雑な時空間関係の捕捉能力を向上させています。
トレーニングスキームにおいて、京東は、純粋な時系列大規模モデルに適用可能な強化学習フレームワークTPO（Timeseries Policy Optimization）を初めて提案しました。このフレームワークは、時系列大規模モデルの特徴を考慮し、従来のRLHFフレームワークが時系列シーンに直接適用できないという問題を解決しました。予測確率化コンポーネントの追加、利点関数の設計、時系列損失などの革新的な手法により、モデルの予測性能を大幅に向上させています。
一連の革新を経て、TimeHFは複数の公開データセットでSOTA（State of the Art）の成果を達成し、現在最先端の時系列深層学習手法やファインチューニングされた大規模モデルと比較して、より強力なゼロショット性能と予測精度を示しました。現在、このモデルは京東のサプライチェーンシステムに導入されており、2万SKUの自動補充予測を提供し、予測精度は大幅に向上しています。
京東零售グループサプライチェーンチームは4月19日にオンラインセミナーを開催し、TimeHFの技術詳細について詳しく解説します。これには、高品質で多様な大規模時系列データセットの構築方法、および時系列大規模モデル向けのRLHFスキームが含まれます。この成果は、京東自身のサプライチェーン管理に革新をもたらしただけでなく、業界全体に貴重な技術的参考資料と実践的な事例を提供します。
