FrontierMath ist eine Benchmark-Plattform für Mathematik, die darauf abzielt, die Grenzen der Fähigkeiten von künstlicher Intelligenz bei der Lösung komplexer mathematischer Probleme zu testen. Sie wurde von über 60 Mathematikern gemeinsam entwickelt und umfasst das gesamte Spektrum der modernen Mathematik, von der algebraischen Geometrie bis zur Zermelo-Fraenkel-Mengenlehre. Jedes Problem in FrontierMath erfordert von Expertenmathematikern mehrere Stunden Arbeit. Selbst die fortschrittlichsten KI-Systeme wie GPT-4 und Gemini können weniger als 2 % der Probleme lösen. Diese Plattform bietet eine echte Bewertungslandschaft; alle Probleme sind neu und unveröffentlicht, wodurch das in bestehenden Benchmarks weit verbreitete Problem der Datenkontamination beseitigt wird.