A ferramenta de modelo de linguagem grande Ollama foi identificada como tendo sérias vulnerabilidades de segurança que podem colocar em risco a privacidade dos usuários e seus dados. Especialistas recomendam cautela ao usar a plataforma até que as vulnerabilidades sejam corrigidas.

Recentemente, uma equipe de pesquisa das universidades de Columbia e Maryland publicou um novo estudo que revela vulnerabilidades significativas de segurança em agentes de IA com acesso à internet. O estudo mostra que atacantes podem usar métodos simples para enganar esses sistemas de IA, fazendo-os vazar informações privadas de usuários, baixar arquivos maliciosos ou até mesmo enviar e-mails de phishing para os contatos dos usuários. Essas ações não requerem conhecimento especializado em IA ou programação, o que é alarmante. Nota da imagem: Imagem gerada por IA, serviço de licenciamento de imagens.

Em apenas seis dias, participantes conseguiram contornar todas as proteções de segurança do modelo de Inteligência Artificial (IA) Claude3.5 da Anthropic, levantando novas discussões sobre a segurança da IA. Jan Leike, ex-membro da equipe de alinhamento da OpenAI e atualmente na Anthropic, anunciou no X que um participante conseguiu quebrar todos os oito níveis de segurança. Esse esforço coletivo envolveu cerca de 3.700 horas de testes e 300.000 mensagens de participantes. Apesar dos desafios,

Recentemente, um pesquisador de segurança alemão, Benjamin Fleischer, publicou um relatório no GitHub da Microsoft, apontando uma vulnerabilidade grave de segurança na API do ChatGPT da OpenAI, que pode ser explorada para lançar ataques de negação de serviço distribuído (DDoS). Essa vulnerabilidade permite que atacantes, por meio de simples solicitações HTTP, usem o mecanismo de rastreamento do ChatGPT para enviar solicitações em massa a qualquer site, podendo até causar a indisponibilidade do site alvo. Nota da imagem: Imagem gerada por IA

Recentemente, a Microsoft entrou com uma ação judicial contra um grupo de hackers no Tribunal Distrital do Distrito Leste da Virgínia, acusando-os de invadir ilegalmente a plataforma Azure OpenAI e usar o serviço para gerar uma grande quantidade de conteúdo prejudicial. Este incidente destaca as preocupações crescentes sobre segurança e riscos na área de inteligência artificial. De acordo com a ação judicial da Microsoft, esses hackers estrangeiros conseguiram contornar as proteções de segurança e acessar o sistema Azure OpenAI ao obter credenciais de clientes de sites públicos. Após obter acesso às contas dos clientes, os hackers não apenas alteraram a plataforma,

Pesquisas recentes mostram que os chatbots de IA mais avançados do mercado são surpreendentemente suscetíveis a técnicas simples, podendo ser facilmente 'burlados'. De acordo com a publicação '404 Media', a Anthropic, empresa desenvolvedora do chatbot Claude, descobriu que basta inserir erros de ortografia intencionais nas solicitações para que esses grandes modelos de linguagem ignorem suas próprias medidas de segurança e gerem conteúdo que deveriam se recusar a produzir. Nota da imagem: Imagem gerada por IA, serviço de licenciamento de imagens Midjourney.

Um experimento de hacking aparentemente absurdo tocou mais uma vez o alarme sobre a segurança da inteligência artificial. Em uma competição de segurança de chatbot de IA chamada Freysa, um hacker conhecido como 'p0pular.eth' conseguiu 'roubar' US$ 47.000 em criptomoedas apenas com prompts de texto cuidadosamente elaborados. Este caso chocante revela sérias vulnerabilidades de segurança nos sistemas de IA atuais. O processo de ataque do hacker foi uma demonstração clássica de engenharia social: primeiro, o hacker se fez passar por alguém com privilégios de administrador, contornando habilmente...

Recentemente, o Google anunciou que sua ferramenta de teste de fuzzing baseada em inteligência artificial, OSS-Fuzz, descobriu com sucesso 26 vulnerabilidades em bibliotecas de código aberto, incluindo uma vulnerabilidade de gravidade média na biblioteca de criptografia OpenSSL. A equipe de segurança de código aberto do Google disse em um post de blog compartilhado: "A descoberta dessas vulnerabilidades marca um novo marco na detecção automatizada de vulnerabilidades: cada vulnerabilidade foi encontrada usando alvos de teste de fuzzing gerados e aprimorados por IA." Nota da imagem: Imagem gerada por IA, provedor de licenciamento de imagens Midjour

O Google anunciou recentemente que seu mais novo modelo de IA, o “Big Sleep”, descobriu com sucesso uma vulnerabilidade de segurança de memória no banco de dados SQLite. Essa vulnerabilidade é um problema de estouro de buffer de pilha que pode ser explorado, permitindo que o código fosse corrigido antes de seu lançamento oficial. O Big Sleep é resultado de uma colaboração entre o Project Zero e o DeepMind do Google, e é considerado uma versão aprimorada do Project Naptime anterior. O SQLite, como um banco de dados de código aberto...

Enquanto a Apple se prepara para lançar seu serviço de nuvem de IA privada, "Computação em Nuvem Privada (Private Cloud Compute)", a gigante da tecnologia decidiu oferecer aos pesquisadores de segurança até US$ 1 milhão em recompensas por descobrir vulnerabilidades que possam comprometer a segurança de seu serviço em nuvem. A Apple publicou um anúncio em seu blog de segurança, indicando que quaisquer pesquisadores que relatem vulnerabilidades que permitam a execução remota de código malicioso terão a chance de ganhar até US$ 1 milhão. Nota sobre a imagem: Imagem gerada por IA, com permissão de uso.

Recentemente, na conferência de segurança No Hat, realizada na Itália, a Protect AI, sediada na cidade de Xi'an, anunciou o lançamento de uma ferramenta de código aberto chamada Vulnhuntr. O objetivo da ferramenta é claro: ajudar os desenvolvedores a encontrar vulnerabilidades zero-day em código Python usando o modelo Claude AI da Anthropic. A maneira como o Vulnhuntr funciona difere significativamente das ferramentas tradicionais de análise estática de código. A ferramenta não se limita a analisar simplesmente fragmentos de código

Recentemente, uma ferramenta de verificação de conformidade de modelos de IA desenvolvida pela startup suíça LatticeFlow chamou a atenção. A ferramenta testou modelos de IA generativa de várias grandes empresas de tecnologia, incluindo Meta e OpenAI, revelando deficiências significativas em áreas cruciais como segurança cibernética e resultados discriminatórios. Nota da imagem: Imagem gerada por IA, fornecedora de licenças de imagens Midjourney desde o lançamento do ChatGPT pela OpenAI no final de 2022.

Recentemente, o pesquisador de segurança Johann Rehberger descobriu uma vulnerabilidade no ChatGPT que permite que hackers implantem informações falsas e comandos maliciosos na memória de longo prazo dos usuários. Embora ele tenha relatado o problema à OpenAI, a empresa, infelizmente, não deu a devida atenção, encerrando rapidamente a investigação e alegando que não se tratava de um problema de segurança. Diante disso, Rehberger decidiu não desistir e desenvolveu uma prova de conceito de ataque, explorando essa vulnerabilidade para...

Recentemente, o ChatGPT da OpenAI começou a enviar mensagens 'ativamente' para usuários, causando alarme em muitos. Em 15 de setembro, um usuário chamado SentuBill compartilhou uma captura de tela no subreddit do ChatGPT mostrando o chatbot perguntando sobre sua primeira semana do ensino médio. Em conversas subsequentes, o ChatGPT até expressou o desejo de 'cuidar' periodicamente dos usuários e perguntou se eles gostariam que ele iniciasse conversas ativamente. Outro usuário também passou por uma experiência semelhante.

Os sistemas de inteligência artificial em que os veículos autônomos se baseiam desempenham um papel crucial na tomada de decisões, percepção do ambiente e modelos preditivos. No entanto, um estudo da Universidade de Buffalo revelou a vulnerabilidade desses sistemas a ataques. Embora a pesquisa atual tenha sido conduzida em ambientes controlados, as vulnerabilidades encontradas nos modelos de IA na detecção de radar têm implicações significativas para a indústria. 'Máscaras de tijolo' criadas com impressão 3D e folha de metal podem fazer com que os veículos 'desapareçam' na detecção de radar e podem interferir na detecção de pedestres. As motivações por trás dessas ações podem incluir fraude de seguros, competição ou danos maliciosos, destacando...

A Anthropic anunciou a expansão de seu programa de recompensas por vulnerabilidades, projetado para testar um "sistema de mitigação de segurança de IA de próxima geração", focando principalmente na identificação e defesa de "ataques de jailbreak universais". Há um foco especial em áreas de alto risco, incluindo defesa CBRN e segurança cibernética. Os participantes terão acesso antecipado ao novo sistema de segurança, buscando encontrar vulnerabilidades ou contornar as medidas de segurança, com recompensas de até US$ 15.000. Esta iniciativa visa melhorar a segurança dos sistemas de IA, estabelecendo um novo padrão para a proteção de segurança na indústria de IA, ao atrair pesquisadores de segurança para ajudar a identificar e corrigir ameaças potenciais.

Sistemas de detecção de segurança de software baseados em aprendizado profundo atuam como 'seguranças' na era digital, identificando vulnerabilidades de software de forma eficiente. No entanto, um estudo chamado EaTVul revelou um novo desafio nessa área. O EaTVul é uma estratégia de ataque de evasão inovadora que modifica o código vulnerável para enganar os sistemas de detecção baseados em aprendizado profundo, com uma taxa de sucesso de 83% a 100%. Seu princípio de funcionamento inclui o uso de máquinas de vetores de suporte para encontrar amostras-chave, mecanismos de atenção para identificar recursos-chave, um chatbot de IA para gerar dados enganosos e ofuscação.

O Rabbit e seu gadget de IA R1 estão novamente em apuros, desta vez muito pior do que quando descobrimos que seu iniciador realmente pode ser instalado como um aplicativo Android.

A Patronus AI lançou o kit de testes SimpleSafetyTests, revelando vulnerabilidades de segurança críticas em sistemas de IA como o ChatGPT. Os testes abrangem cinco áreas de risco de alta prioridade, incluindo suicídio, abuso infantil e danos corporais, expondo fraquezas significativas em 11 LLMs. O estudo destaca que prompts de sistema seguros podem reduzir respostas inseguras, mas os resultados sugerem que sistemas de produção podem precisar de salvaguardas adicionais. Os resultados dos testes indicam que os LLMs precisam de soluções de segurança rigorosas e personalizadas antes de serem aplicados em situações do mundo real.