Im digitalen Zeitalter gewinnt die Inhaltsicherheit immer mehr an Bedeutung. Am 26. September stellte OpenAI ein neues, multimodales Inhaltsprüfungsmodell namens „omni-moderation-latest“ vor.
Das Modell basiert auf der neuesten GPT-4o-Technologie und kann schädliche Text- und Bildinhalte präzise erkennen und identifizieren. Dieses Update bietet Entwicklern leistungsstarke Werkzeuge zum Aufbau robusterer Prüfsysteme.
Besonders hervorzuheben ist, dass das neue Modell sowohl Text- als auch Bildeingaben prüfen kann und dabei besonders bei nicht-englischen Inhalten überzeugt.
Im Vergleich zu vorherigen Prüfmodellen bietet „omni-moderation-latest“ nicht nur eine höhere Erkennungsgenauigkeit, sondern auch die Fähigkeit, mehr schädliche Inhalte zu erkennen. Es kann verschiedene Kategorien wie Gewalt, Selbstverletzung und sexuelle Inhalte bewerten und sorgt so für einen sichereren Kommunikationsraum für Nutzer.
Seit der Einführung der Inhaltsprüfungs-API (Moderation API) im Jahr 2022 durch OpenAI steigt die Menge und Vielfalt der von automatisierten Prüfsystemen zu verarbeitenden Inhalte stetig an, insbesondere mit dem zunehmenden Einsatz von KI-Anwendungen in der Massenproduktion. Viele Unternehmen, wie Grammarly und ElevenLabs, nutzen diese API bereits zum Schutz ihrer Nutzer und zur Verhinderung unangemessener Inhalte.
Die Vorteile des neuen Modells liegen in mehreren Bereichen:
Erstens ermöglicht es eine multimodale Klassifizierung schädlicher Inhalte und bewertet Kombinationen aus Bildern und Text, um Gewalt, Selbstverletzung und sexuelle Risiken zu erkennen.
Zweitens wurden zwei neue Kategorien zur Textprüfung hinzugefügt, die sich auf illegale und gewalttätige Inhalte beziehen, wodurch die Prüfungsfähigkeit weiter verbessert wurde.
Drittens wurde die Genauigkeit bei der Erkennung nicht-englischer Inhalte deutlich gesteigert. Tests zeigen eine Genauigkeitssteigerung von 42 % in 40 Sprachen, besonders hervorzuheben ist die Verbesserung bei Sprachen mit geringen Ressourcen.
Für Entwickler ist dieses neue Prüfmodell weiterhin als kostenlose Inhaltsprüfungs-API einfach zu integrieren. OpenAI hofft, dass dieses Upgrade mehr Entwickler in die Lage versetzt, die neuesten Forschungsergebnisse und Sicherheitssysteme zu nutzen und Nutzern ein positiveres Online-Erlebnis zu bieten.
Offizieller Blog: https://openai.com/index/upgrading-the-moderation-api-with-our-new-multimodal-moderation-model/
Wichtigste Punkte:
📊 Das neue Modell „omni-moderation-latest“ basiert auf der GPT-4o-Technologie und unterstützt die multimodale Prüfung von Text und Bildern.
🌍 Die Genauigkeit der Erkennung in 40 Sprachen wurde um 42 % verbessert, insbesondere bei Sprachen mit geringen Ressourcen.
🔒 Zwei neue Kategorien zur Textprüfung wurden hinzugefügt, um die Erkennung illegaler und gewalttätiger Inhalte zu verbessern.
