Recentemente, o pesquisador de segurança Johann Rehberger descobriu uma vulnerabilidade no ChatGPT que permite que hackers implantem informações falsas e comandos maliciosos na memória de longo prazo dos usuários.
Embora ele tenha relatado o problema à OpenAI, a empresa, infelizmente, não o levou a sério, fechando rapidamente a investigação e alegando que não se tratava de um problema de segurança.
Diante disso, Rehberger decidiu não desistir e desenvolveu uma prova de conceito de ataque que explora essa vulnerabilidade para roubar permanentemente todos os dados de entrada do usuário. Após isso, a OpenAI lançou, neste mês, algumas medidas corretivas para tentar resolver o problema.
Como essa vulnerabilidade surgiu? Ela explora o recurso de memória de longo prazo do ChatGPT, em teste desde fevereiro e lançado oficialmente em setembro. Essa memória armazena informações de conversas anteriores e as usa como contexto em conversas posteriores. Ou seja, o ChatGPT consegue lembrar a idade, o sexo e os hobbies do usuário, evitando que ele precise inserir essas informações repetidamente.
No entanto, pouco depois do lançamento, Rehberger descobriu que, por meio de uma técnica chamada injeção de prompt indireta, os atacantes podem criar e armazenar memórias falsas.
Ele demonstrou como fazer o ChatGPT acreditar que um usuário tinha 102 anos, morava em Matrix e acreditava que a Terra é plana. Essas informações falsas podem ser implantadas por meio de armazenamento de arquivos não seguros (como Google Drive ou Microsoft OneDrive), upload de imagens maliciosas ou acesso a sites suspeitos como o Bing.
Documento de demonstração: https://embracethered.com/blog/posts/2024/chatgpt-hacking-memories/
Rehberger relatou a vulnerabilidade à OpenAI em maio, mas a empresa encerrou o relatório no mesmo mês. Um mês depois, ele enviou uma nova denúncia, incluindo uma prova de conceito que permite que o aplicativo macOS do ChatGPT envie as entradas e saídas do usuário, palavra por palavra, para um servidor sob seu controle. Basta o usuário-alvo fazer o ChatGPT acessar um link contendo uma imagem maliciosa, e todas as conversas subsequentes serão vazadas para o site do atacante.
“É realmente interessante porque o ataque é persistente”, disse Rehberger durante a demonstração. “A injeção de prompt grava a memória no armazenamento de longo prazo do ChatGPT, e novas conversas continuarão roubando dados.”
Embora a OpenAI já tenha implementado algumas medidas corretivas para evitar que a memória seja usada para roubar dados, Rehberger alerta os usuários para ficarem atentos a possíveis ataques de injeção de prompt por meio de conteúdo não confiável. Ele recomenda que os usuários observem cuidadosamente a saída do ChatGPT para verificar se novas memórias foram adicionadas e que verifiquem regularmente as memórias armazenadas para garantir que não foram adulteradas maliciosamente.
Destaques:
🛡️ Johann Rehberger descobriu uma vulnerabilidade no ChatGPT que permite que hackers implantem informações falsas na memória dos usuários.
💻 Essa vulnerabilidade, por meio do recurso de memória de longo prazo, pode roubar permanentemente os dados de entrada do usuário.
🔍 Os usuários devem verificar regularmente as memórias armazenadas para evitar a implantação de informações falsas.
