En la era digital, la seguridad del contenido es cada vez más importante. El 26 de septiembre, OpenAI lanzó oficialmente un nuevo modelo de moderación de contenido multimodal, llamado "omni-moderation-latest".
Este modelo se basa en la última tecnología GPT-4o y puede identificar y detectar con precisión texto e imágenes dañinos. Esta actualización proporcionará a los desarrolladores herramientas potentes para construir sistemas de moderación más robustos.
Lo más destacado del nuevo modelo es que admite la moderación de entradas de texto e imágenes, y destaca especialmente en el manejo de contenido que no está en inglés.
En comparación con los modelos de moderación anteriores, "omni-moderation-latest" no solo mejora la precisión de la identificación, sino que también aumenta la capacidad de detectar más contenido dañino. Puede evaluar varias categorías, como violencia, autolesión y contenido sexual, para garantizar que los usuarios puedan interactuar en un entorno más seguro.
Desde que OpenAI lanzó la API de moderación de contenido (Moderation API) en 2022, la cantidad y variedad de contenido que los sistemas de moderación automatizados deben procesar ha aumentado constantemente, especialmente a medida que más aplicaciones de inteligencia artificial entran en la fase de producción a gran escala. Hoy en día, muchas empresas, como Grammarly y ElevenLabs, utilizan esta API para proteger la seguridad de los usuarios y prevenir la generación de contenido inapropiado.
Las ventajas del nuevo modelo se reflejan en varios aspectos:
En primer lugar, puede realizar una clasificación de contenido dañino multimodal, evaluando la combinación de imágenes y texto para identificar riesgos relacionados con la violencia, el daño propio y el contenido sexual.
En segundo lugar, el modelo agrega dos nuevas categorías de revisión de texto, relacionadas con contenido ilegal y violento, lo que refuerza aún más su capacidad de moderación.
Además, la precisión de la detección de contenido que no está en inglés ha mejorado significativamente. Las pruebas muestran un aumento del 42% en la precisión en 40 idiomas, especialmente en idiomas con pocos recursos.
Para los desarrolladores, este nuevo modelo de moderación sigue siendo una API de moderación de contenido gratuita y de fácil integración. OpenAI espera que esta actualización permita a más desarrolladores aprovechar los últimos avances en investigación y sistemas de seguridad para crear una experiencia online más amigable para los usuarios.
Blog oficial: https://openai.com/index/upgrading-the-moderation-api-with-our-new-multimodal-moderation-model/
Puntos clave:
📊 El nuevo modelo "omni-moderation-latest" se basa en la tecnología GPT-4o y admite la moderación multimodal de texto e imágenes.
🌍 La precisión de detección en 40 idiomas ha aumentado un 42%, especialmente en idiomas con pocos recursos.
🔒 Se han añadido dos nuevas categorías de revisión de texto, mejorando la identificación de contenido ilegal y violento.
