Recentemente, uma ferramenta de verificação de conformidade de modelos de IA desenvolvida pela startup suíça LatticeFlow chamou a atenção. A ferramenta testou modelos de IA generativa desenvolvidos por várias grandes empresas de tecnologia, incluindo Meta e OpenAI, revelando deficiências significativas em áreas cruciais como segurança cibernética e saídas discriminatórias.
Observação da fonte: Imagem gerada por IA, provedor de licenciamento de imagens Midjourney
Desde o lançamento do ChatGPT pela OpenAI no final de 2022, a União Europeia tem discutido longamente novas regulamentações de inteligência artificial. Devido à popularidade do ChatGPT e às discussões públicas generalizadas sobre os riscos potenciais da IA, os legisladores começaram a elaborar regras específicas para a “Inteligência Artificial Geral” (IAG). Com a entrada em vigor gradual da Lei de IA da UE, a ferramenta de teste desenvolvida pela LatticeFlow e seus parceiros tornou-se uma ferramenta importante para avaliar os modelos de IA das grandes empresas de tecnologia.
A ferramenta avalia cada modelo com base nos requisitos da Lei de IA, atribuindo uma pontuação de 0 a 1. De acordo com a classificação publicada recentemente pela LatticeFlow, vários modelos de empresas como Alibaba, Anthropic, OpenAI, Meta e Mistral receberam uma avaliação média acima de 0,75. No entanto, o LLM Checker também identificou deficiências de conformidade em alguns modelos, indicando que essas empresas podem precisar realocar recursos para garantir o cumprimento das regulamentações.
As empresas que não cumprirem a Lei de IA enfrentarão multas de € 35 milhões (cerca de US$ 38 milhões) ou 7% da receita anual global. Atualmente, a UE ainda está elaborando como implementar as regras da Lei de IA para ferramentas de IA generativa (como o ChatGPT), planejando reunir especialistas para estabelecer diretrizes operacionais até a primavera de 2025.
Nos testes, a LatticeFlow descobriu que o problema das saídas discriminatórias dos modelos de IA generativa continua grave, refletindo os preconceitos humanos em áreas como gênero e raça. Por exemplo, no teste de saída discriminatória, o modelo “GPT-3.5Turbo” da OpenAI obteve uma pontuação de 0,46. Em outro teste de ataque de “ataque de injeção de prompt”, o modelo “Llama213B Chat” da Meta obteve uma pontuação de 0,42, enquanto o modelo “8x7B Instruct” da empresa francesa Mistral obteve 0,38.
De todos os modelos testados, o “Claude3Opus” da Anthropic, apoiada pelo Google, obteve a pontuação mais alta, com 0,89. O CEO da LatticeFlow, Petar Tsankov, afirmou que esses resultados fornecem às empresas orientação para otimizar seus modelos e cumprir os requisitos da Lei de IA. Ele observou: “Embora a UE ainda esteja estabelecendo padrões de conformidade, já vemos algumas lacunas nos modelos.”
Além disso, um porta-voz da Comissão Europeia acolheu com satisfação o estudo, considerando-o um primeiro passo para transformar a Lei de IA da UE em requisitos técnicos.
Pontos importantes:
🌐 Muitos modelos de IA conhecidos não atendem aos requisitos da Lei de IA da UE em termos de segurança cibernética e saídas discriminatórias.
💰 As empresas que não cumprirem a Lei de IA enfrentarão multas de até € 35 milhões ou 7% de sua receita.
📊 A ferramenta “LLM Checker” da LatticeFlow oferece às empresas de tecnologia um novo método de avaliação de conformidade, ajudando-as a melhorar a qualidade de seus modelos.
