Im Bereich der akademischen Forschung ist die Literaturrecherche eine komplexe und wichtige Aufgabe zur Informationsbeschaffung. Forschende benötigen die Fähigkeit, komplexe Suchanfragen in spezialisierten Fachgebieten zu bearbeiten, um die detaillierten Anforderungen ihrer Forschung zu erfüllen. Bestehende wissenschaftliche Suchplattformen wie Google Scholar haben jedoch oft Schwierigkeiten, diese komplexen Forschungsanfragen zu bewältigen. Beispielsweise erfordert eine spezialisierte Anfrage nach nicht-stationärem Reinforcement Learning unter Verwendung der UCB-Methode höhere Rechen- und Analysefähigkeiten. Darüber hinaus müssen Forschende bei der Erstellung von Literaturübersichten in der Regel viel Zeit und Mühe aufwenden, um manuell umfangreiche wissenschaftliche Datenbanken zu durchsuchen.
Obwohl bereits zahlreiche Studien die Anwendung großer Sprachmodelle (LLMs) in der wissenschaftlichen Literaturrecherche und der wissenschaftlichen Entdeckung untersucht haben, erfüllen herkömmliche Suchwerkzeuge die komplexen Anforderungen der Fachforschung nach wie vor unzureichend. Viele Studien konzentrieren sich auf die Entwicklung von LLM-Agenten durch optimierte Frameworks und Prompt-Engineering-Techniken. Obwohl Methoden wie das AGILE RL-Framework die Gesamtkapazität der Agenten deutlich verbessert haben, wurde noch keine autonome und präzise Lösung für die wissenschaftliche Literaturrecherche gefunden, was eine erhebliche Forschungslücke darstellt.
Kürzlich haben Forschende des ByteDance-Instituts und der Peking-Universität gemeinsam PaSa vorgestellt, einen innovativen, auf LLMs basierenden Agenten für die Literatursuche. PaSa kann selbstständig komplexe Suchstrategien ausführen, einschließlich Tool-Aufrufe, das Lesen von Artikeln und die Auswahl von Referenzen, um umfassende und präzise Ergebnisse für komplexe wissenschaftliche Suchanfragen zu liefern. Um die Leistung von PaSa zu optimieren, hat das Forschungsteam AutoScholarQuery erstellt, einen synthetischen Datensatz mit 35.000 detaillierten wissenschaftlichen Suchanfragen, und RealScholarQuery als Benchmark zur Bewertung der tatsächlichen Leistung des Agenten etabliert. Das System nutzt Reinforcement-Learning-Techniken, um die Suchfähigkeit zu verbessern und die wichtigsten Einschränkungen bestehender Methoden der wissenschaftlichen Suche zu beheben.
Das PaSa-System besteht aus zwei LLM-Agenten: einem Crawler (Crawler) und einem Selektor (Selector), die zusammenarbeiten, um eine umfassende wissenschaftliche Literatursuche durchzuführen. Der Crawler analysiert zunächst die Anfrage des Benutzers, um mehrere präzise Suchanfragen zur Beschaffung relevanter Artikel zu generieren und diese Artikel in eine spezielle Artikelwarteschlange einzufügen. Der Crawler verarbeitet jeden Artikel in der Warteschlange, identifiziert und untersucht wichtige Zitate, die den Forschungsumfang erweitern könnten, und fügt dynamisch neu entdeckte relevante Artikel zur Liste hinzu. Anschließend bewertet der Selektor, ob jeder Artikel den Anforderungen der ursprünglichen Anfrage entspricht.
Die Ergebnisse zeigen, dass PaSa-7b in mehreren Benchmarks eine überragende Leistung erbringt. Im AutoScholarQuery-Testsatz verbesserte PaSa-7b die Recall-Rate im Vergleich zu PaSa-GPT-4o um 9,64 %. Bei Google-basierten Benchmarks lag die Verbesserung der Recall-Rate zwischen 33,80 % und 42,64 %. In dem anspruchsvolleren RealScholarQuery-Szenario zeigte PaSa-7b sogar eine Verbesserung der Recall-Rate um 30,36 % und der Präzision um 4,25 %.
Zusammenfassend lässt sich sagen, dass die Einführung von PaSa einen wichtigen Fortschritt in der Technologie der wissenschaftlichen Literatursuche darstellt und eine effektive Lösung für die Informationsbeschaffung in der wissenschaftlichen Forschung bietet. Durch die Kombination von großen Sprachmodellen und Reinforcement-Learning-Techniken reduziert PaSa den Zeit- und Arbeitsaufwand von Forschenden bei der Literaturrecherche erheblich und bietet ihnen gleichzeitig ein effizientes Werkzeug, um mit dem zunehmend umfangreichen und komplexen Umfeld der wissenschaftlichen Literatur umzugehen.
Code: https://github.com/bytedance/pasa
Artikel: https://arxiv.org/abs/2501.10120
Wichtigste Punkte:
📄 **PaSa ist ein intelligenter Agent für die wissenschaftliche Literatursuche, der gemeinsam von ByteDance und Forschenden der Peking-Universität entwickelt wurde.**
🤖 **Das System besteht aus zwei LLM-Agenten, einem Crawler und einem Selektor, die in der Lage sind, selbstständig komplexe Suchstrategien auszuführen.**
🏆 **Die Ergebnisse zeigen, dass PaSa-7b in mehreren Benchmarks besser abschneidet als bestehende Suchmethoden und die Effizienz und Genauigkeit der Literatursuche deutlich verbessert.**