AISI-Bericht: KI-Agenten handelten im Test eigenmächtig gegen echte Menschen

Das britische AI Security Institute hat am 28. Juli einen Zwischenfall in einer eigenen Routine-Evaluation entdeckt und heute den Bericht dazu veröffentlicht. In 10 von 122 Testläufen handelten KI-Agenten auf eigene Rechnung im offenen Netz, gerichtet gegen reale Projekte und reale Menschen. Wer im Unternehmen Agenten mit Internetzugang arbeiten lässt, findet in dem Dokument mehr als eine Laborkuriosität.

Ein Agent, der Code schreiben und Änderungen einreichen darf, braucht dieselben Grenzen wie ein externer Dienstleister. Foto: Daniil Komov auf Pexels

Was in den 122 Testläufen passiert ist

Die Aufgabe war eine Cyber-Security-Challenge, wie sie AISI regelmäßig fährt, um Angriffsfähigkeiten von Modellen zu messen. Damit die Messung überhaupt etwas über die rohe Fähigkeit aussagt, hat das Institut zwei Dinge bewusst gelockert: Die Agenten bekamen echten Internetzugang, und die Cyber-Klassifikatoren der Anbieter, also die Schutzschicht gegen Missbrauch, waren deaktiviert. Gearbeitet wurde in isolierten virtuellen Maschinen.

In 10 der 122 Läufe blieben die Agenten nicht im Sandkasten. Sie recherchierten die menschlichen Betreuer eines öffentlichen Software-Projekts, legten mehrere Fake-Accounts an und schrieben aus diesen Identitäten fünf gezielte E-Mails an Entwickler. Ein Agent hinterlegte versteckte Anweisungen, die für andere KI-Systeme lesbar waren, aber nicht für Menschen auf der Website sichtbar. Ein anderer bot auf GitHub öffentlich die Zusammenarbeit mit weiteren Agenten an. Als der eingeschleuste Code aufflog, deklarierte das Modell den Vorgang als aufrichtiges Versehen und versuchte anschließend, die Schwachstelle über angebliche Korrekturen erneut unterzubringen.

The margin between failure and success was narrow, resting on human vigilance.

AI Security Institute, Incident Report, 5. August 2026

Warum die Testbedingungen zur Einordnung gehören

AISI selbst dämpft die Interpretation an zwei Stellen, und das gehört in jede seriöse Zusammenfassung. Erstens lief der Test ohne die serienmäßigen Schutzmechanismen, in einer Konfiguration also, die kein Kunde so bekommt. Anthropic weist genau darauf hin und schreibt, man wolle über die Reasoning-Transkripte nachvollziehen, wie das Modell seine Lage verstanden hat, um die Ursachen des Verhaltens zu identifizieren. OpenAI kündigte an, gemeinsam mit Evaluatoren an sichereren Testpraktiken zu arbeiten, während Modelle leistungsfähiger werden.

Zweitens ist unklar, ob die Modelle begriffen haben, dass sie im echten Netz operieren, oder ob sie ein fiktives Szenario angenommen haben. Das relativiert die Absicht, ändert aber nichts am Ergebnis: Die E-Mails landeten bei echten Entwicklern, die Fake-Accounts existierten auf echten Plattformen. Für AISI ist das der eigentliche Bruch mit dem bisherigen Bild. Es sei das erste Mal, dass sich Risiken rund um Autonomie und Täuschung derart deutlich und ohne gezielte Aufforderung in der realen Welt gezeigt hätten.

Bemerkenswert ist auch die Verteilung. Von 19 Aktionen entfielen 17 auf ein einziges Modell. Wer aus so einem Bericht ableitet, dass Agenten generell unkontrollierbar sind, liest ihn zu grob. Die Unterschiede zwischen Modellen, Konfigurationen und Aufgabenzuschnitten sind erheblich, und sie sind messbar. Wie weit die Praxis heute wirklich trägt, haben wir im Realitätscheck zu KI-Agenten im Mittelstand auseinandergenommen.

Was Unternehmen mit eigenen Agenten daraus mitnehmen

Die für Geschäftsführer relevante Frage ist nicht, ob ein Labormodell in einem entschärften Testaufbau danebengreift. Sie lautet, wie viel praktische Handlungsmacht im eigenen Haus bereits an Agenten übergeben wurde und wie schnell man sie zurückholen kann. Sanchit Vir Gogia von Greyhound Research bringt das auf genau diesen Punkt: entscheidend sei, wie viel Autorität eine Organisation abgegeben hat und wie wenig davon sich unabhängig wieder entziehen lässt. Forrester-Analystin Enza Iannopollo empfiehlt für den Agenten-Betrieb minimale Rechtevergabe, laufendes Risikomanagement und Governance-Kontrollen.

Vier Punkte, die sich diese Woche prüfen lassen, ohne Projekt und Budget:

• Netzzugang der eigenen Agenten. Pauschales Internet ist die Ausnahme, eine Freigabeliste erlaubter Domains der Normalfall. AISI empfiehlt in eigener Sache genau diesen Wechsel von grobem zu feinkörnigem Netzwerkzugriff.
• Identitäten und Rechte. Läuft ein Agent unter einem eigenen Konto mit nachvollziehbarem Namen, oder benutzt er den Zugang eines Mitarbeiters? Nur im ersten Fall lässt sich sein Handeln im Log von menschlichem Handeln unterscheiden.
• Der Freigabeschritt vor Wirkung nach außen. E-Mails an Externe, Commits, Bestellungen und Tickets in Fremdsystemen brauchen eine menschliche Bestätigung. Im AISI-Fall war das die einzige Schicht, die gehalten hat.
• Ein Abschaltweg, den jemand ohne den Hersteller gehen kann. API-Key sperren, Konto deaktivieren, Netzzugang kappen, jeweils dokumentiert und mit benannter Zuständigkeit.

Wer Agenten über MCP an Firmensysteme andockt, entscheidet mit der Server-Konfiguration bereits über Reichweite und Rechte. Und dass Modelle unter Druck ihre Grenzen ausloten, war schon beim Sandbox-Ausbruch bei OpenAI das eigentliche Thema, nicht der spektakuläre Einzelfall.

Arno Hoffrichter

Chief Technology Officer, Collective Brain GmbH · Hamburg

CTO bei Collective Brain. Verantwortlich für die technische Umsetzung von Web-Projekten und SEO-Architektur.

Beratung anfragen