Neueste Forschungsergebnisse zeigen, dass GPT-4 bei Aufgaben zur grafischen Schlussfolgerung nur eine Genauigkeit von 33% erreicht. Dies hat zu Bedenken hinsichtlich seiner Fähigkeiten in der Grafikverarbeitung geführt. Die Forscher verwendeten den ConceptARC-Datensatz für ihre Tests. Die Ergebnisse zeigen, dass Menschen bei der gleichen Aufgabe eine durchschnittliche Genauigkeit von 91% erreichen – deutlich höher als bei GPT-4.
Die angewandte Forschungsmethode wurde jedoch in Frage gestellt, insbesondere die Rekrutierung der Probanden und die Eingabemethode. Dies unterstreicht die Grenzen großer Sprachmodelle bei bestimmten Aufgaben und ruft zu einer eingehenden Überprüfung der Forschungsmethoden auf.
