Na era digital, a segurança de conteúdo tornou-se uma preocupação crescente. Em 26 de setembro, a OpenAI lançou oficialmente um novo modelo de moderação de conteúdo multimodais, chamado "omni-moderation-latest".
Este modelo é baseado na mais recente tecnologia GPT-4o e consegue identificar e detectar com precisão texto e imagens prejudiciais. Esta atualização fornecerá aos desenvolvedores ferramentas poderosas para construir sistemas de moderação mais robustos.
O destaque do novo modelo é que ele suporta a moderação de entradas de texto e imagem, apresentando desempenho ainda melhor no processamento de conteúdo não inglês.
Em comparação com modelos de moderação anteriores, o "omni-moderation-latest" não apenas melhorou a precisão da identificação, mas também aumentou a capacidade de detectar mais conteúdo prejudicial. Ele pode avaliar várias categorias, como violência, automutilação e conteúdo sexual, garantindo que os usuários possam interagir em um ambiente mais seguro.
Desde o lançamento da API de moderação de conteúdo (Moderation API) pela OpenAI em 2022, a quantidade e os tipos de conteúdo que os sistemas de moderação automatizados precisam processar aumentaram constantemente, especialmente com a entrada de mais e mais aplicações de inteligência artificial na produção em larga escala. Hoje em dia, muitas empresas, como Grammarly e ElevenLabs, usam essa API para proteger a segurança dos usuários e prevenir a geração de conteúdo inadequado.
As vantagens do novo modelo se manifestam em vários aspectos:
Primeiro, ele pode realizar classificação de conteúdo prejudicial multimodais, avaliando a combinação de imagens e texto e identificando riscos relacionados à violência, automutilação e conteúdo sexual.
Em segundo lugar, o modelo adicionou duas novas categorias de moderação de texto, relacionadas a conteúdo ilegal e violento, aumentando ainda mais sua capacidade de moderação.
Além disso, a precisão da detecção de conteúdo não inglês foi significativamente aprimorada. Os testes mostraram um aumento de 42% na precisão em 40 idiomas, especialmente em idiomas com poucos recursos.
Para os desenvolvedores, este novo modelo de moderação continua sendo uma API de moderação de conteúdo gratuita e de fácil integração. A OpenAI espera que esta atualização permita que mais desenvolvedores utilizem os mais recentes resultados de pesquisa e sistemas de segurança para criar uma experiência online mais amigável para os usuários.
Blog oficial: https://openai.com/index/upgrading-the-moderation-api-with-our-new-multimodal-moderation-model/
Destaques:
📊 O novo modelo "omni-moderation-latest" é baseado na tecnologia GPT-4o e suporta moderação multimodais de texto e imagem.
🌍 A precisão de detecção em 40 idiomas foi aprimorada em 42%, especialmente em idiomas com poucos recursos.
🔒 Duas novas categorias de moderação de texto foram adicionadas, melhorando a identificação de conteúdo ilegal e violento.
