TOFU
Der TOFU-Datensatz dient als Benchmark für simulierte Vergessensaufgaben bei großen Sprachmodellen.
Normales ProduktProduktivitätSprachmodellVergessen
Der TOFU-Datensatz enthält Frage-Antwort-Paare, die auf Basis fiktiver, nicht existierender Autoren (200 Stück) generiert wurden. Er dient zur Bewertung der Vergessensleistung großer Sprachmodelle in realen Aufgaben. Ziel ist es, die Vergessenheit von feinabgestimmten Modellen bei unterschiedlichen Anteilen von Vergessenheitsmengen zu messen. Der Datensatz im Frage-Antwort-Format eignet sich besonders gut für gängige Chatbot-Modelle wie Llama2, Mistral oder Qwen. Er kann aber auch für alle anderen großen Sprachmodelle verwendet werden. Die zugehörige Codebasis ist für Llama2 Chat und Phi-1.5 Modelle geschrieben, lässt sich aber problemlos an andere Modelle anpassen.
TOFU Neueste Verkehrssituation
Monatliche Gesamtbesuche
474564576
Absprungrate
36.20%
Durchschnittliche Seiten pro Besuch
6.1
Durchschnittliche Besuchsdauer
00:06:34