機械学習は既に様々なオンラインサービスに浸透しており、オンラインショッピングはその中でも最も成功した分野の一つです。近年、機械学習はユーザー検索、閲覧履歴、レビュー分析、商品属性抽出など、様々なオンラインショッピング業務に活用されています。機械学習手法の発展を促進するため、多くのベンチマークテストが開発され、研究者やエンジニアが実際のオンラインショッピング業務を対象とした斬新なソリューションの開発と評価のハードルを下げることが目指されています。
しかし、既存のモデルとベンチマークは特定のタスクに合わせてカスタマイズされていることが多く、オンラインショッピングの複雑さを完全に捉えきれていません。大規模言語モデル（LLM）は、そのマルチタスク学習能力と少样本学習能力により、特定タスクのエンジニアリング作業量を削減し、ユーザーにインタラクティブな対話を提供することで、オンラインショッピング体験を根本的に変革する可能性を秘めています。潜在能力は巨大である一方、大規模言語モデルは、特定分野のショッピング概念、暗黙知、異種ユーザー行動など、オンラインショッピング分野において特有の課題にも直面しています。
これらの課題に対処するため、Amazonの研究者たちは、実際のAmazonデータに基づくマルチタスクオンラインショッピングベンチマークテストであるShopping MMLUを提案しました。Shopping MMLUは、概念理解、知識推論、ユーザー行動との整合性、多言語対応という4つのショッピングスキルを網羅する57個のタスクを含んでおり、汎用的なショッピングアシスタントとしてのLLMの潜在能力を包括的に評価することができます。
Shopping MMLUは単なる「試験」ではありません。実際のAmazonショッピングデータから抽出された57個のタスクで構成され、概念理解、知識推論、ユーザー行動との整合性、多言語対応の4つのモジュールを網羅しています。簡単に言えば、AIアシスタントが人間の販売員のように、ユーザーのニーズを理解し、理想の商品を見つけることができるかを評価するものです。
Amazonの研究者たちは、Shopping MMLUを用いて20以上の既存のAIモデルをテストした結果、
Claude-3Sonnet、ChatGPTなどの有名な専有AIモデルは優れた性能を示し、トップグループに位置づけられました。しかし、オープンソースのAIモデルも急速に追いつき、「権威」に挑戦する勢いを見せています。
Shopping MMLUのテスト結果は、オンラインショッピングがマルチタスク学習問題であるという興味深い現象を明らかにしました。つまり、AIアシスタントはこの業務をこなすために複数のスキルを同時に習得する必要があるということです。
さらに驚くべきことに、汎用領域で優れた性能を示したAIモデルは、オンラインショッピング分野でも遜色ありませんでした。これは、AIアシスタントが汎用知識を特定分野に移転し、迅速に新しいスキルを学習できることを示しています。
もちろん、AIアシスタントが完璧というわけではありません。研究者たちは、指示微調整（IFT）など、いくつかの一般的なAIトレーニング手法が、場合によってはモデルの過学習を引き起こし、性能に悪影響を与える可能性があることを発見しました。
さらに、少样本学習もAIアシスタントが直面する大きな課題です。これは、AIアシスタントが新しいタスクに直面した際に、大量のトレーニングデータに常に依存するのではなく、迅速に学習する必要があることを意味します。
要約すると、AmazonのShopping MMLUベンチマークテストは、AIアシスタントの発展の方向性を示しています。今後、よりスマートで、より人間的なオンラインショッピングAIアシスタントが登場し、私たちのショッピング体験をより便利で楽しいものにしてくれることを期待しています。
研究者たちは、いくつかの注目すべき詳細も発見しました。
Shopping MMLUは、既存の他のオンラインショッピングAIデータセットよりも複雑で、より挑戦的です。
特定分野の指示微調整の効果は必ずしも良くなく、既に大量の汎用知識を習得した強力なモデルでのみ有効です。
現在、最先端のAIモデルでさえ、特定のオンラインショッピングタスクにおけるパフォーマンスは、これらのタスク用に特別に設計されたアルゴリズムには及ばない場合があります。
この研究の結果は、完璧なオンラインショッピングAIアシスタントを構築するにはまだ長い道のりがあることを示しています。今後の研究方向としては、より効果的なAIトレーニング手法の開発、より多様なオンラインショッピングAIデータセットの構築、AIモデルと特定タスクアルゴリズムの組み合わせによる、より強力なハイブリッド型AIシステムの構築などがあります。
最後に、研究者たちは、この研究のいくつかの限界についても率直に指摘しています。
Shopping MMLUのデータは主にAmazonから収集されたものであり、他のECプラットフォームのユーザー行動を完全に代表するとは限りません。
研究者たちは最大限の努力を払っていますが、Shopping MMLUのデータには依然としていくつかのエラーが含まれている可能性があります。
総じて、Amazonのこの研究は、未来のスマートショッピング時代への扉を開きました。近い将来、オンラインショッピングAIアシスタントが私たちの生活に欠かせないものになることを信じています。
論文アドレス：https://arxiv.org/pdf/2410.20745
データと評価コード：
https://github.com/KL4805/ShoppingMMLU
KDD Cup 2024ワークショップと受賞チームの解法：
https://amazon-kddcup24.github.io/
評価ランキング：
https://huggingface.co/spaces/KL4805/shopping_mmlu_leaderboard
