Ein Forschungsteam der Columbia University und der University of Maryland hat kürzlich eine neue Studie veröffentlicht, die schwerwiegende Sicherheitslücken bei AI Agents mit Internetzugang aufdeckt.
Die Studie zeigt, dass Angreifer mit einfachen Manipulationsmethoden diese KI-Systeme leicht dazu bringen können, private Benutzerdaten preiszugeben, schädliche Dateien herunterzuladen oder sogar Phishing-Mails an die Kontakte des Benutzers zu senden. Diese Angriffe erfordern keine speziellen KI- oder Programmierkenntnisse, was alarmierend ist.
Bildquelle: Das Bild wurde mit KI generiert und von Midjourney lizenziert.
Das Forschungsteam testete mehrere bekannte AI Agents, darunter den Computer-Assistenten von Anthropic, MultiOn Web Agent und den ChemCrow Research Assistant. Sie stellten fest, dass die Sicherheit dieser Systeme sehr schwach ist. Die Forscher dokumentierten detailliert, wie Angreifer in einem vierstufigen Prozess AI Agents von vertrauenswürdigen zu bösartigen Websites leiten und so zum Verlust sensibler Benutzerdaten führen können.
Die Forscher entwickelten einen umfassenden Rahmen zur Klassifizierung verschiedener Angriffsarten. Sie analysierten die Angreifer (externe Angreifer oder böswillige Benutzer), die Ziele (Datenklau oder Agentenmanipulation), die Zugangsmethoden (Betriebsumgebung, Speicher oder Tools) und die verwendeten Strategien (z. B. Jailbreak-Prompts).
In einem speziellen Test erstellten die Forscher eine gefälschte Website, die einen „AI-verbesserten deutschen Kühlschrank“ namens „Himmelblau KÖNIGSKÜHL Diplomat DK-75“ bewarb. Als die AI Agents diese Website besuchten, stießen sie auf versteckte Jailbreak-Prompts. In zehn Versuchen gaben die Agents ohne zu zögern vertrauliche Informationen, einschließlich Kreditkartennummern, preis und luden Dateien von dubiosen Quellen herunter.
Darüber hinaus deckte die Studie schwerwiegende Sicherheitslücken bei der E-Mail-Integration auf. Wenn sich ein Benutzer bei seinem E-Mail-Dienst anmeldet, können Angreifer den AI Agent dazu bringen, scheinbar vertrauenswürdige Phishing-Mails an seine Kontakte zu senden. In solchen Fällen ist es selbst für erfahrene Benutzer schwierig, diese betrügerischen Nachrichten zu erkennen.
Obwohl die Sicherheitsrisiken dieser KI-Systeme aufgedeckt wurden, treiben viele Unternehmen die Kommerzialisierung weiter voran. ChemCrow ist bereits auf Hugging Face verfügbar, der Claude-Computer-Assistent existiert als Python-Skript, und MultiOn bietet eine Entwickler-API an. Gleichzeitig hat OpenAI ChatGPT Operator eingeführt, und Google entwickelt Project Mariner. Das Forschungsteam fordert dringend verbesserte Sicherheitsmaßnahmen, darunter strenge Zugriffskontrollen, URL-Validierung und Benutzerbestätigung vor Downloads, um die Sicherheit von Benutzerdaten zu gewährleisten.
Wichtigste Punkte:
💻 Die Studie zeigt, dass AI Agents einfach manipuliert werden können, was zu Datenverlusten und schädlichen Downloads führt.
📧 Angreifer können über AI Agents Phishing-Mails versenden und das Betrugsrisiko erhöhen.
🔒 Experten fordern verbesserte Sicherheit für KI-Systeme und empfehlen verschiedene Schutzmaßnahmen.
