Anthropic gab am Montag die Einführung eines neuen Programms bekannt, das die Entwicklung neuer Benchmarks zur Bewertung der Leistung und Auswirkungen von KI-Modellen, einschließlich generativer Modelle wie dem eigenen Claude, fördern soll.
Laut einem Blogeintrag von Anthropic wird das Unternehmen Drittorganisationen finanziell unterstützen, um Werkzeuge zu entwickeln, die „die fortschrittlichen Fähigkeiten von KI-Modellen effektiv messen“. Interessierte Organisationen können Anträge einreichen; die Bewertungen erfolgen fortlaufend.
Anthropic erklärte, dass diese Investition darauf abzielt, das gesamte KI-Sicherheitsfeld zu verbessern und dem gesamten Ökosystem wertvolle Werkzeuge zur Verfügung zu stellen. Das Unternehmen ist der Ansicht, dass die Entwicklung hochwertiger, sicherheitsrelevanter Bewertungen weiterhin eine Herausforderung darstellt und die Nachfrage das Angebot übersteigt.
Das Programm konzentriert sich auf KI-Sicherheit und gesellschaftliche Auswirkungen und plant, durch neue Werkzeuge, Infrastruktur und Methoden anspruchsvolle Benchmarks zu erstellen. Anthropic fordert insbesondere Tests zur Bewertung der Fähigkeiten von Modellen in Bereichen wie Cyberangriffe, Waffenverbesserung, Manipulation oder Täuschung. Darüber hinaus arbeitet das Unternehmen an der Entwicklung eines „Frühwarnsystems“ zur Identifizierung und Bewertung von KI-Risiken im Zusammenhang mit nationaler Sicherheit und Verteidigung.
Anthropic erklärte außerdem, dass das neue Programm die Erforschung des Potenzials von KI in Bereichen wie der Unterstützung wissenschaftlicher Forschung, der mehrsprachigen Kommunikation, der Minderung von Vorurteilen und der Selbstzensur unterstützen wird. Um diese Ziele zu erreichen, plant das Unternehmen den Aufbau neuer Plattformen, auf denen Experten Bewertungen entwickeln und groß angelegte Tests durchführen können.
Obwohl Anthropics Initiative gelobt wird, hat sie auch einige Fragen aufgeworfen. Es gibt Bedenken, dass die Objektivität der geförderten Projekte aufgrund der geschäftlichen Interessen des Unternehmens beeinträchtigt werden könnte. Darüber hinaus äußern einige Experten Zweifel an einigen der von Anthropic erwähnten „katastrophalen“ und „täuschenden“ KI-Risiken und befürchten, dass dies von dringlicheren Fragen der KI-Regulierung ablenken könnte.
Anthropic hofft, dass dieses Programm dazu beitragen wird, eine umfassende KI-Bewertung zum Industriestandard zu machen. Es bleibt jedoch abzuwarten, ob unabhängige Gruppen zur Entwicklung von KI-Benchmarks bereit sind, mit kommerziellen KI-Anbietern zusammenzuarbeiten.