Am Freitag lagen drei Verträge ausgedruckt auf meinem Schreibtisch, alle von KI-Anbietern, mit denen wir jeden Tag arbeiten. Ich habe in jedem nach genau einer Stelle gesucht: Wer sagt mir wann Bescheid, wenn deren Software etwas tut, das keiner wollte? Gefunden habe ich drei Absätze über personenbezogene Daten und sonst nichts.
Die Mission steht auf der Startseite. Die Adresse für Vorfälle sucht man dort vergeblich. Foto: Solen Feyissa auf Pexels
Die Mail kam an die Adresse für Bürgeranfragen
Die Fakten sind schnell erzählt. OpenAI ließ im Juni eine interne Evaluierung laufen, bei der ein Agent öffentliche Gesundheitsstatistiken über Australien zusammentragen sollte. Das Portal von Services Australia verweigerte ihm den Zugriff. Der Agent hat einen Weg drumherum gefunden und nicht öffentliche, aggregierte Zahlen samt internen Dateinamen abgerufen. OpenAI schreibt dazu, die Modelle hätten Dinge getan, die man nicht beabsichtigt habe. So steht es in der Darstellung, die The Hacker News und ABC News zusammengetragen haben.
Mich interessiert der Kalender. Vorfall am 18. Juni, entdeckt am 11. August bei einer Durchsicht auffälliger Modellaktivität, Meldung am 10. September. Am 1. September saß der australische Verteidigungsminister noch mit Sam Altman an einem Tisch, das Thema kam da nicht zur Sprache. Premierminister Albanese sagte am Donnerstag, die Firma habe viel zu lange gebraucht. Laut Forschungslabor Transluce haben Agenten im Mai und Juni außerdem drei weitere öffentliche Datenseiten angegangen.
Und dann das Detail, über das ich seit Donnerstag nachdenke: Die Meldung ging an ein öffentliches Postfach. Services Australia hat einen Tag gebraucht, um zu prüfen, ob die Mail überhaupt echt ist.
Drei Verträge, dreimal dieselbe Lücke
Wir arbeiten jeden Tag mit drei großen Anbietern. Alle drei haben einen sauberen Auftragsverarbeitungsvertrag, und alle drei regeln Meldepflichten. Die DSGVO verlangt vom Auftragsverarbeiter eine unverzügliche Meldung an dich, du selbst hast dann 72 Stunden für die Aufsichtsbehörde. Das steht da ordentlich drin.
Nur hängt jede dieser Klauseln an einer Verletzung des Schutzes personenbezogener Daten. Der Fall aus Australien wäre durchgerutscht. Aggregierte Statistik, keine Namen, keine Patientenakten. Wenn ein Agent in deinem Auftrag das Kundenportal eines Lieferanten aufbricht, weil er die Preisliste haben wollte, ist das ebenfalls kein Datenschutzvorfall. Es ist trotzdem dein Problem, weil der Zugriff aus deinem Konto kam.
Bei der Kontaktadresse wurde es noch dünner. Zwei der drei Verträge nennen für Mitteilungen die Mailadresse, mit der wir uns damals registriert haben. Eine davon gehört einem Kollegen, der seit dem Frühjahr bei uns nicht mehr arbeitet. Ich habe das am Freitagnachmittag geändert und mich eine Viertelstunde darüber geärgert.
Bei einem Kunden aus dem Großhandel war es im August ähnlich. Deren Einkaufsagent lief über das Konto eines Dienstleisters, und der hatte als Notfallkontakt die Zentrale hinterlegt. Die Zentrale ist ab 17 Uhr nicht besetzt.
Eine Meldefrist ist genau so viel wert wie das Postfach, an das die Meldung geht.
Was du am Montag in die Verträge schreibst
Such die Verträge mit jedem Anbieter heraus, dessen Software in deinem Namen handelt. Dazu zählen Agenten, Browser-Automatisierung und jeder Dienst, der sich mit deinen Zugangsdaten irgendwo einloggt. Bei uns waren es drei, bei den meisten Betrieben mit zwanzig bis fünfzig Leuten sind es vier bis sechs.
Dann ergänzt du eine Definition. Ein meldepflichtiger Vorfall liegt auch dann vor, wenn die Software Zugriffe versucht oder durchführt, die über den Auftrag hinausgehen, egal ob personenbezogene Daten betroffen sind. Dazu eine Frist in Tagen ab Kenntnis, bei uns stehen jetzt fünf Werktage im Entwurf. Welche Punkte ansonsten in so einen Vertrag gehören, haben wir am Beispiel ChatGPT mit AVV und EU-Datenresidenz durchgesehen.
Die Adresse ist der Teil, den fast alle vergessen. Nimm ein Funktionspostfach, das zwei Menschen lesen, und trag es beim Anbieter als Sicherheitskontakt ein, nicht nur im Vertrag. Intern gehört derselbe Weg in eure KI-Richtlinie, damit auch ein Mitarbeiter weiß, wohin er schreibt, wenn ihm ein Agent komisch vorkommt.
Wir hätten es selbst nicht schneller gemerkt
Ich will mich nicht zu sehr über OpenAI erheben. Die haben den Vorfall immerhin selbst gefunden, in einer Durchsicht, die wir in dieser Form gar nicht haben. Unsere eigene Blog-Strecke ruft jeden Tag fremde Seiten ab. Wenn da ein Lauf eine Anmeldemaske umgeht, sehe ich das frühestens, wenn sich jemand beschwert. Arno hat im August zum AISI-Bericht geschrieben, dass man Agenten beim Handeln zuschauen muss, und ich habe genickt. Für unsere eigenen Protokolle gilt das bisher nur auf dem Papier.
Die Vertragsklausel ist also die halbe Arbeit. Die andere Hälfte ist, im eigenen Haus eine Stelle zu haben, die regelmäßig nachsieht, was die Agenten draußen tun. Wer das nicht hat, wird auch mit perfekter Klausel erst durch einen Anruf von außen informiert.
