Kürzlich entdeckte der Sicherheitsforscher Johann Rehberger eine Sicherheitslücke in ChatGPT, die es Hackern ermöglichen könnte, falsche Informationen und schädliche Anweisungen in das Langzeitgedächtnis der Benutzer einzupflanzen.
Obwohl er OpenAI über das Problem informierte, schenkte das Unternehmen dem Bericht leider nicht genügend Aufmerksamkeit und schloss die Untersuchung schnell ab, da es angeblich kein Sicherheitsproblem darstellte.
Angesichts dieser Situation gab Rehberger nicht auf und entwickelte ein Proof-of-Concept-Angriffsexempel, mit dem sich alle Eingabedaten des Benutzers dauerhaft stehlen lassen. Nach Bekanntwerden dieses Beispiels veröffentlichte OpenAI in diesem Monat teilweise Korrekturmaßnahmen, um das Problem zu beheben.
Wie ist diese Sicherheitslücke entstanden? Sie nutzt die Funktion des Langzeitgedächtnisses von ChatGPT, die seit Februar dieses Jahres getestet und im September offiziell eingeführt wurde. Das Langzeitgedächtnis speichert frühere Konversationen des Benutzers und verwendet diese als Kontext in nachfolgenden Gesprächen. Das heißt, ChatGPT kann sich an das Alter, Geschlecht, Interessen usw. des Benutzers erinnern, sodass der Benutzer diese Informationen nicht jedes Mal erneut eingeben muss.
Rehberger entdeckte jedoch kurz nach der Einführung, dass Angreifer durch eine Technik namens „indirekte Prompt-Injection“ falsche Erinnerungen erstellen und speichern können.
Er demonstrierte, wie ChatGPT dazu gebracht werden kann, zu glauben, dass ein bestimmter Benutzer 102 Jahre alt ist, in „Matrix“ lebt und fest davon überzeugt ist, dass die Erde flach ist. Diese falschen Informationen können über unsichere Dateispeicher (wie Google Drive oder Microsoft OneDrive), das Hochladen schädlicher Bilder oder den Besuch verdächtiger Websites wie Bing eingeschleust werden.
Demonstrationsdokument: https://embracethered.com/blog/posts/2024/chatgpt-hacking-memories/
Rehberger meldete die Sicherheitslücke im Mai privat an OpenAI, doch das Unternehmen schloss den Bericht noch im selben Monat. Einen Monat später reichte er eine neue Meldung mit einem Proof-of-Concept-Beispiel ein, das es der macOS-Anwendung von ChatGPT ermöglicht, die Eingaben und Ausgaben des Benutzers wortwörtlich an seinen Server zu senden. Der Benutzer muss lediglich einen Link zu einem Bild mit Schadsoftware aufrufen, um alle nachfolgenden Konversationen an die Website des Angreifers zu senden.
„Das ist wirklich interessant, weil dieser Angriff persistent ist“, sagte Rehberger in seiner Demonstration. „Die Prompt-Injection schreibt die Erinnerung in den Langzeitspeicher von ChatGPT, und neue Konversationen stehlen weiterhin Daten.“
Obwohl OpenAI bereits teilweise Korrekturmaßnahmen implementiert hat, um zu verhindern, dass das Gedächtnis zum Datendiebstahl verwendet wird, warnt Rehberger Benutzer weiterhin vor möglichen Prompt-Injection-Angriffen durch nicht vertrauenswürdige Inhalte. Er empfiehlt Benutzern, bei der Verwendung von ChatGPT die Ausgaben sorgfältig zu prüfen, um festzustellen, ob neue Erinnerungen hinzugefügt wurden, und regelmäßig die gespeicherten Erinnerungen zu überprüfen, um sicherzustellen, dass keine böswilligen Einträge vorhanden sind.
Wichtigste Punkte:
🛡️ Johann Rehberger entdeckt eine ChatGPT-Sicherheitslücke, durch die Hacker falsche Informationen in das Gedächtnis der Benutzer einpflanzen können.
💻 Die Sicherheitslücke nutzt die Langzeitgedächtnisfunktion und ermöglicht den dauerhaften Diebstahl von Benutzereingaben.
🔍 Benutzer sollten regelmäßig ihre gespeicherten Erinnerungen überprüfen, um das Einpflanzen falscher Informationen zu verhindern.