Eine Kinderhilfsorganisation im australischen Bundesstaat Victoria hat kürzlich ein Verbot für die Nutzung von generativer KI-Software durch ihre Mitarbeiter erlassen. Grund dafür war ein Vorfall, bei dem ein Mitarbeiter bei der Erstellung eines Schutzantrags mit ChatGPT zahlreiche persönliche Daten, darunter den Namen eines Kindes mit hohem Risikoprofil, eingegeben hatte. Dieser Vorfall veranlasste das Victorian Office of the Information Commissioner (Ovic) zu einer Untersuchung, nachdem im Dezember letzten Jahres eine entsprechende Meldung eingegangen war.
Die Untersuchung ergab, dass der Bericht des Mitarbeiters ein Kleinkind betraf, dessen Eltern wegen Sexualdelikten angeklagt waren, wobei die Anschuldigungen das Kind selbst nicht direkt betrafen. Der Ovic-Bericht stellte fest, dass der Bericht an mehreren Stellen eindeutig von ChatGPT generiert wurde und eine Sprache und Satzstruktur enthielt, die nicht den Richtlinien zum Kinderschutz entsprach. So wurde beispielsweise eine Puppe des Kindes – angeblich ein von dem Vater für sexuelle Zwecke verwendetes Spielzeug – als „altersgerechtes Spielzeug zur Unterstützung der kindlichen Entwicklung“ beschrieben, wodurch die potenzielle Gefährdung des Kindes stark verharmlost wurde.
Der Ovic-Bericht wies zudem darauf hin, dass die Eingabe persönlicher Daten in ChatGPT eine nicht autorisierte Offenlegung von Daten des Amtes darstellte. Der Mitarbeiter gab zu, ChatGPT aus Zeitgründen und zur Steigerung der Effizienz verwendet zu haben, bestritt aber, persönliche Daten eingegeben zu haben. Die Untersuchung ergab außerdem, dass der Mitarbeiter ChatGPT möglicherweise in 100 Fällen eingesetzt hatte. Im gesamten Amt hatten von Juli bis Dezember 2023 fast 900 Mitarbeiter, fast 13 % der Belegschaft, auf die ChatGPT-Website zugegriffen.
Daraufhin erteilte der Ovic dem Amt eine Reihe von Anweisungen, darunter die Sperrung der IP-Adressen und Domains mehrerer generativer KI-Websites. ChatGPT, Meta AI, Gemini und Copilot sind von der Sperrung betroffen. Das Verbot gilt für zwei Jahre. Das Amt erklärte sich mit den Untersuchungsergebnissen einverstanden und wird die Anweisungen aktiv umsetzen. Der Mitarbeiter wurde mittlerweile entlassen. Der Ovic steht der zukünftigen Nutzung generativer KI im Bereich des Kinderschutzes offen gegenüber, betont aber die Notwendigkeit höherer Sicherheitsstandards.
Wichtigste Punkte:
✅ Ein Mitarbeiter einer Kinderhilfsorganisation in Victoria gab bei der Nutzung von ChatGPT persönliche Daten ein, was zum Verbot generativer KI in der Organisation führte.
🚫 Die Untersuchung ergab, dass der Bericht des Mitarbeiters mehrere Stellen enthielt, die nicht den Kinderschutzstandards entsprachen und ungenaue Informationen enthielten.
🔒 Der Ovic forderte das Amt auf, mehrere KI-Websites zu sperren. Das Verbot gilt für zwei Jahre, um die Sicherheit der Kinderdaten zu gewährleisten.