Vectara hat kürzlich einen Bericht mit dem Titel „Halluzinationsrangliste“ veröffentlicht, in dem die Leistung verschiedener großer Sprachmodelle (LLMs) beim Generieren von Halluzinationen beim Zusammenfassen kurzer Dokumente verglichen wird. Diese Rangliste verwendet das Hughes-Halluzinationsbewertungsmodell (HHEM-2.1) von Vectara, ein regelmäßig aktualisiertes Modell, das darauf abzielt, die Häufigkeit zu bewerten, mit der diese Modelle falsche Informationen in Zusammenfassungen einfügen. Laut den neuesten Daten weist der Bericht die Halluzinationsrate, die Faktenkonsistenzrate, die Antwortquote und die durchschnittliche Länge der Zusammenfassungen einer Reihe gängiger Modelle aus.