Maschinelles Lernen ist bereits in diverse Online-Dienste integriert, wobei Online-Shopping zu den erfolgreichsten Bereichen zählt. In den letzten Jahren wurde maschinelles Lernen für verschiedene Aufgaben im Online-Handel eingesetzt, wie z. B. Benutzerabfragen, Browsing-Verlauf, Kommentaranalyse und Extraktion von Produkteigenschaften. Um die Entwicklung von Methoden des maschinellen Lernens zu fördern, wurden zahlreiche Benchmark-Tests entwickelt, um Forschern und Ingenieuren die Entwicklung und Bewertung neuer Lösungen für reale Online-Shopping-Aufgaben zu erleichtern.
Bestehende Modelle und Benchmarks sind jedoch oft auf spezifische Aufgaben zugeschnitten und erfassen die Komplexität des Online-Shoppings nicht vollständig. Große Sprachmodelle (LLMs) haben mit ihren Fähigkeiten im Multi-Task- und Few-Shot-Learning das Potenzial, das Online-Shopping-Erlebnis durch die Reduzierung des spezifischen Engineering-Aufwands und die Bereitstellung interaktiver Dialoge für Benutzer grundlegend zu verändern. Trotz des enormen Potenzials stehen LLMs im Bereich Online-Shopping jedoch vor einzigartigen Herausforderungen, wie z. B. domänenspezifische Shopping-Konzepte, implizites Wissen und heterogenes Benutzerverhalten.
Um diesen Herausforderungen zu begegnen, haben Amazon-Forscher Shopping MMLU vorgestellt, einen multi-task Online-Shopping-Benchmark basierend auf realen Amazon-Daten. Shopping MMLU umfasst 57 Aufgaben, die vier große Shopping-Fähigkeiten abdecken: Konzepterfassung, Wissensableitung, Benutzerverhaltensabstimmung und mehrsprachige Fähigkeiten. Daher kann es das Potenzial großer Sprachmodelle als universelle Shopping-Assistenten umfassend bewerten.
Shopping MMLU ist kein gewöhnlicher „Test“, sondern umfasst 57 Aufgaben aus realen Amazon-Shopping-Daten, die die vier Module Konzepterfassung, Wissensableitung, Abstimmung auf Benutzerverhalten und mehrsprachige Fähigkeiten abdecken. Vereinfacht gesagt, soll geprüft werden, ob ein KI-Assistent die Bedürfnisse des Benutzers verstehen und ihm helfen kann, die gewünschten Produkte zu finden, ähnlich wie ein menschlicher Verkäufer.
Die Amazon-Forscher testeten über 20 bestehende KI-Modelle mit Shopping MMLU und stellten Folgendes fest:
Bekannte proprietäre KI-Modelle wie Claude-3Sonnet und ChatGPT zeigten eine hervorragende Leistung und belegten die Spitzenplätze. Open-Source-KI-Modelle holen jedoch auf und stellen eine Herausforderung für die „Etablierten“ dar.
Die Ergebnisse von Shopping MMLU zeigen ein interessantes Phänomen: Online-Shopping ist ein Multi-Task-Lernproblem. Das bedeutet, dass ein KI-Assistent mehrere Fähigkeiten gleichzeitig beherrschen muss, um diese Aufgabe zu bewältigen.
Erfreulicherweise schnitten KI-Modelle, die im allgemeinen Bereich gut abschnitten, auch im Online-Shopping-Bereich nicht schlechter ab. Dies zeigt, dass KI-Assistenten allgemeines Wissen auf spezifische Bereiche übertragen und schnell neue Fähigkeiten erlernen können.
Natürlich sind KI-Assistenten nicht perfekt. Die Forscher stellten fest, dass einige gängige KI-Trainingsmethoden, wie z. B. Instruction Fine-Tuning (IFT), in einigen Fällen zu einem Overfitting des Modells führen und dessen Leistung beeinträchtigen können.
Darüber hinaus stellt Few-Shot-Learning eine große Herausforderung für KI-Assistenten dar. Dies bedeutet, dass KI-Assistenten bei neuen Aufgaben schnell lernen müssen und nicht immer auf große Trainingsdatensätze angewiesen sein können.
Zusammenfassend lässt sich sagen, dass der Shopping MMLU-Benchmark von Amazon die Richtung für die Entwicklung von KI-Assistenten vorgibt. Zukünftig erwarten wir intelligentere und benutzerfreundlichere Online-Shopping-KI-Assistenten, die unser Shopping-Erlebnis komfortabler und angenehmer gestalten.
Die Forscher haben auch einige bemerkenswerte Details festgestellt:
Shopping MMLU ist komplexer und herausfordernder als andere bestehende Online-Shopping-KI-Datensätze.
Domänenspezifisches Instruction Fine-Tuning ist nicht immer effektiv und funktioniert nur bei leistungsstarken Modellen, die bereits über umfangreiches allgemeines Wissen verfügen.
Derzeit schneiden selbst die fortschrittlichsten KI-Modelle in einigen Online-Shopping-Aufgaben schlechter ab als speziell für diese Aufgaben entwickelte Algorithmen.
Die Ergebnisse dieser Studie zeigen, dass der Weg zum perfekten Online-Shopping-KI-Assistenten noch weit ist. Zukünftige Forschungsrichtungen umfassen die Entwicklung effektiverer KI-Trainingsmethoden, den Aufbau vielfältigerer Online-Shopping-KI-Datensätze und die Kombination von KI-Modellen mit algorithmischen Ansätzen für spezifische Aufgaben, um leistungsstärkere hybride KI-Systeme zu schaffen.
Schließlich haben die Forscher auch einige Einschränkungen der Studie offen gelegt:
Die Daten in Shopping MMLU stammen hauptsächlich von Amazon und spiegeln möglicherweise nicht das Benutzerverhalten anderer E-Commerce-Plattformen vollständig wider.
Trotz der Bemühungen der Forscher können die Daten in Shopping MMLU immer noch Fehler enthalten.
Zusammenfassend lässt sich sagen, dass die Amazon-Studie die Tür zu einer intelligenten Shopping-Zukunft öffnet. Wir glauben, dass Online-Shopping-KI-Assistenten in naher Zukunft ein unverzichtbarer Bestandteil unseres Lebens sein werden.
论文地址：https://arxiv.org/pdf/2410.20745
数据及评测代码：
https://github.com/KL4805/ShoppingMMLU
KDD Cup 2024 Workshop及获奖队伍解法：
https://amazon-kddcup24.github.io/
评估榜单：
https://huggingface.co/spaces/KL4805/shopping_mmlu_leaderboard