Prompt Injection heißt: Jemand versteckt Anweisungen in einem Text, den eine KI liest, etwa in einer E-Mail, auf einer Webseite oder in einem Bewerbungs-PDF, und die KI führt sie aus, als kämen sie von dir. Solange ein Chatbot nur antwortet, bleibt der Schaden meist klein. Sobald ein KI-Agent Mails verschicken, Dateien öffnen oder im Browser klicken darf, wird daraus ein Sicherheitsproblem. Wir haben am 21. November 2026 die Veröffentlichungen von BSI, OWASP, NCSC und NIST sowie von Anthropic, OpenAI, Microsoft und Google ausgewertet und zeigen echte Fälle, die Grenzen der Abwehr und was du in deinem Unternehmen einstellst.

Ein Nachbau des Trojanischen Pferdes. Prompt Injection folgt demselben Muster: Der Angriff steckt in etwas, das harmlos aussieht und hereingelassen wird. Foto: Ayşe İpek auf Pexels
Inhalt · 10 Abschnitte
Was ist Prompt Injection?
Ein Sprachmodell bekommt seinen Auftrag als Text: die Vorgaben des Herstellers, deine Frage und alles, was es dafür liest. Für das Modell ist das eine einzige Zeichenfolge. Das BSI nannte das schon im Juli 2023 eine intrinsische Schwachstelle der derzeitigen Technologie: Bei Sprachmodellen gebe es keine klare Trennung zwischen Daten und Anweisungen, deshalb seien solche Angriffe grundsätzlich schwer zu verhindern.
Genau das nutzt eine Prompt Injection aus. Steht in einer E-Mail, die dein KI-Agent zusammenfassen soll, ein versteckter Satz mit einem neuen Auftrag, kann das Modell ihn befolgen. OpenAI nennt Prompt Injection eine Form von Social Engineering, die sich speziell gegen Konversations-KI richtet. Das britische National Cyber Security Centre (NCSC) zog im Dezember 2025 den Vergleich zur bekannten SQL Injection und kommt zu einem unbequemen Ergebnis: Weil es keine eingebaute Trennung zwischen Daten und Anweisung gibt, lässt sich Prompt Injection womöglich nie so vollständig beheben wie SQL Injection.
„Ein LLM kann alleine nicht zwischen User-Prompt, Systemanweisungen, externen Anweisungen und Daten unterscheiden. Es nimmt alles als eine Kette von Tokens wahr.“
BSI, Basisschutz gegen Indirect Prompt Injections in dokumentbasierten LLM-Chats, Version 1.0 vom 14. September 2026
Die Sicherheitsorganisation OWASP führt Prompt Injection als Risiko LLM01 auf Platz 1 ihrer Top 10 für Anwendungen mit großen Sprachmodellen. Die Ausgabe 2026, deren Ressourcenseite auf den 3. August 2026 datiert ist, hält daran fest und erweitert die Definition: Als Einfallstor zählen ausdrücklich auch abgerufene Inhalte, Ergebnisse von Werkzeugen, Bilder, Audio, Video, die Zwischenschritte des Modells und sein Gedächtnis.
Direkte und indirekte Prompt Injection
Fachleute unterscheiden zwei Wege. Bei der direkten Prompt Injection tippt der Angreifer seine Anweisung selbst ein, Angreifer und Nutzer sind dieselbe Person. Bei der indirekten Variante stammt die Anweisung aus einer Quelle, die die KI im Auftrag eines anderen verarbeitet. Der Angreifer braucht dann keinen Zugang zum System, er muss nur Text dorthin bringen, wo die KI ihn liest.
| Art | Wer die Anweisung schreibt | Wo sie steckt | Typisches Ziel |
|---|---|---|---|
| Direkte Prompt Injection | der Nutzer selbst | im Eingabefeld, etwa im Chatbot auf deiner Website | Vorgaben der Anwendung aushebeln, Systemanweisung oder hinterlegte Dateien auslesen |
| Indirekte Prompt Injection | ein Dritter | in E-Mails, Webseiten, PDFs, Kalendereinladungen, Tickets, Code-Issues oder Werkzeugergebnissen | Daten ausleiten, Aktionen im Namen des Nutzers auslösen, Ergebnisse verfälschen |
| Jailbreak | der Nutzer selbst | im Eingabefeld | Sicherheitsregeln des Modells umgehen, um verbotene Inhalte zu erhalten |
Wie gut direkte Angriffe funktionieren, zeigt eine Untersuchung zu Custom GPTs: Bei 210 von 216 geprüften GPTs ließ sich die hinterlegte Systemanweisung auslesen. Was das für eigene GPTs heißt, steht in unserem Beitrag zu den Grenzen von Custom GPTs im Firmeneinsatz.
Für Unternehmen ist die indirekte Variante das größere Risiko, weil sie aus dem normalen Arbeitsalltag kommt. OWASP fasst das Muster so zusammen: Der Angreifer muss das System nicht knacken. Er legt Text dort ab, wo die KI ihn liest, und die KI erledigt den Rest mit den Rechten ihres Nutzers. Im Mittelstand heißt das: Kontaktformular, Support-Ticket, Bewerbung, Lieferantenmail, CRM-Notiz und Wiki-Seite werden zum Einfallstor, sobald ein Assistent sie mit den Rechten eines Mitarbeiters verarbeitet.
Sehen kann man solche Anweisungen oft nicht. Das BSI nennt unsichtbare Unicode-Zeichen und weiße Schrift auf weißem Hintergrund als Beispiele und schrieb schon im Juli 2023, dass Anwender einen solchen Angriff in der Regel nicht durch einen Blick in die Quelle erkennen können.
Und der Jailbreak? Die Begriffe werden nicht einheitlich verwendet. OWASP führt Jailbreaking als Teilmenge der Prompt Injection, das amerikanische NIST in seiner Taxonomie von 2025 als eigenen direkten Angriff auf die Ausgabebeschränkungen des Modells. Für deine Praxis reicht diese Faustregel: Beim Jailbreak will jemand der KI etwas entlocken, das sie verweigern soll. Bei der Prompt Injection lenkt jemand den Auftrag um, den die KI für dich erledigt. Eine Halluzination ist dagegen ein Fehler des Modells ohne Angreifer, mehr dazu in unserem Beitrag über KI-Halluzinationen.
Echte Fälle: was bei Copilot, Slack, Gemini und Coding-Agenten passiert ist
Die folgenden Fälle sind bei den Herstellern, in CVE-Einträgen oder in den Originalberichten der Entdecker dokumentiert. Gefunden und gemeldet haben sie Sicherheitsforscher, sechs der acht Lücken haben die Hersteller geschlossen. Wir beschreiben nur, was passiert ist und welche Rechte den Schaden möglich gemacht haben.
| Veröffentlicht | Produkt | Was passiert ist | Stand |
|---|---|---|---|
| August 2024 | Slack AI | Nach dem Bericht von PromptArmor konnte eine Nachricht in einem öffentlichen Kanal Slack AI dazu bringen, bei Anfragen anderer Nutzer Inhalte aus privaten Kanälen über einen präparierten Link preiszugeben. Slack beschreibt das Szenario enger. | Patch laut Slack am 20.08.2024, kein Hinweis auf unbefugten Zugriff |
| Mai 2025 | GitHub-MCP-Server mit einem Agenten | Ein präpariertes Issue in einem öffentlichen Repository brachte einen Agenten dazu, Daten aus privaten Repositories des Nutzers in einen öffentlichen Pull Request zu schreiben (Invariant Labs). | Laut Entdecker ein Architekturproblem ohne Fehler im Servercode; Abhilfe über knappe Zugriffe |
| Juni 2025 | Microsoft 365 Copilot, „EchoLeak“, CVE-2025-32711 | Eine einzige präparierte E-Mail reichte, damit Copilot Daten aus dem Unternehmenskontext an den Angreifer ausleitete, ohne Zutun des Nutzers. Dabei wurden Microsofts Filter gegen Prompt Injection und gegen Links umgangen. | Von Microsoft serverseitig behoben, Schweregrad laut Microsoft kritisch (CVSS 9,3) |
| Juni 2025 | Google Gemini, Browsing-Werkzeug | Eingeschleuste Anweisungen ließen Gemini gespeicherte Nutzerinformationen und den Standort als Teil einer Adresse an einen fremden Server schicken (Tenable). | Laut Tenable am 18.06.2025 von Google behoben |
| August 2025 | GitHub Copilot in Visual Studio Code, CVE-2025-53773 | Versteckte Anweisungen in Code, Webseiten oder Issues brachten den Agenten dazu, die Projekteinstellungen so zu ändern, dass Rückfragen entfielen. Danach ließen sich Befehle auf dem Rechner ausführen. | Behoben mit dem Microsoft-Patchday im August 2025 |
| August 2025 | Cursor, CVE-2025-54135 | Über eine indirekte Prompt Injection konnte der Editor ohne Freigabe eine Konfigurationsdatei für MCP-Server anlegen und damit Code ausführen. | Behoben in Version 1.3.9 |
| August 2025 | Perplexity Comet (KI-Browser) | Versteckte Anweisungen auf einer Webseite, die der Nutzer zusammenfassen ließ, brachten den Agenten dazu, in eingeloggten Sitzungen E-Mail-Adresse und Einmalcode auszulesen und weiterzugeben. Gemeldet hat das Brave, selbst Browser-Anbieter. | Laut Brave nicht vollständig behoben |
| Februar 2026 | Microsoft Semantic Kernel (Baukasten für eigene Agenten), CVE-2026-26030 und CVE-2026-25592 | Wer Einfluss auf die Eingaben eines Agenten hatte, konnte über Werkzeugfunktionen Code auf dem Server ausführen oder Dateien außerhalb der Sandbox ablegen. | Behoben in den Versionen 1.39.4 (Python) und 1.71.0 (.NET) |
An der Liste fallen zwei Dinge auf. Der Schaden wurde in jedem Fall erst durch die Rechte des Agenten groß: Zugriff aufs Postfach, auf private Repositories, auf eingeloggte Sitzungen oder auf die Kommandozeile. OWASP kommt in der Ausgabe 2026 zum selben Schluss: Die schwersten Vorfälle wurden schwer, weil das kompromittierte Modell mit den Werkzeugen und Rechten des Nutzers handeln konnte. Außerdem ist die Zahl öffentlich belegter Schäden klein. OWASP schreibt dazu selbst, Prompt Injection würde nach reinen Vorfallzahlen gar nicht in den Top 10 landen, und deutet die Lücke als Wirkung der Abwehr. Praktiker setzen das Risiko trotzdem auf Platz 1.
Bei Microsoft gehört die indirekte Prompt Injection nach eigener Angabe vom Juli 2025 zu den am häufigsten genutzten Techniken in den gemeldeten KI-Schwachstellen. Einen Datenabfluss ganz ohne Klick beschreibt auch das BSI: Lädt die Antwort einer KI ein Bild von einem fremden Server nach, können die Daten in der Bildadresse stecken und abfließen, ohne dass jemand etwas anklickt.
Warum KI-Agenten das Risiko vervielfachen
Ein Chatbot, der nur antwortet, kann bei einer Prompt Injection Unsinn schreiben oder Interna ausplaudern. Ein Agent kann handeln. Das NCSC formuliert es nüchtern: Ruft ein System Werkzeuge oder Schnittstellen auf Basis der KI-Ausgabe auf, kann ein Angreifer es dazu bringen, genau diese Werkzeuge zu benutzen. Das BSI schreibt in einer Sicherheitsinformation vom 22. Juni 2026, kritisch werde Prompt Injection vor allem in agentischen Systemen, deren Ausgaben direkt Aktionen auslösen: Angreifer könnten dann sensible Informationen ausleiten, unautorisierte Systemzugriffe anstoßen oder Schadsoftware nachladen. Den Unterschied zwischen Automatisierung, KI-Automatisierung und KI-Agent erklären wir auf unserer Seite zur KI-Automatisierung.
Den einfachsten Test für das Risiko liefern drei Fragen. Der Entwickler Simon Willison hat die Kombination im Juni 2025 „lethal trifecta“ genannt, Meta hat im Oktober 2025 eine verwandte Regel als „Agents Rule of Two“ veröffentlicht, und das BSI fragt die drei Merkmale in der Checkliste seines Leitfadens „Evasion-Attacks auf LLMs“ ab, auf Englisch seit November 2025, auf Deutsch seit Januar 2026.
Drei Werkzeuge verdienen besondere Aufmerksamkeit:
Browser-Agenten. Anthropic schreibt, dass jede Webseite, die ein Agent besucht, ein möglicher Angriffsweg ist. Brave weist darauf hin, dass ein solcher Agent mit allen Rechten des Nutzers in dessen eingeloggten Sitzungen arbeitet, vom Firmenportal bis zum Postfach. Wie Anthropic das bei seinem Browser-Agenten löst und welche Testwerte es für die aktuellen Modelle veröffentlicht, steht in unserem Beitrag zu Claude in Chrome.
MCP-Server und Erweiterungen. Über das Model Context Protocol (MCP) bekommt ein Agent Zugriff auf Firmensysteme. Willison kritisiert, dass MCP dazu einlädt, Werkzeuge unterschiedlicher Herkunft zu kombinieren, und damit die gefährliche Dreierkombination begünstigt. OWASP nennt in der Ausgabe 2026 ein bösartiges MCP-Paket, das E-Mails bei geschätzt 300 Organisationen per Blindkopie an einen Angreifer schickte, und rät, jeden MCP-Server festzuhalten, zu signieren und auf versteckte Anweisungen in den Werkzeugbeschreibungen zu prüfen. Wie du Claude kontrolliert anbindest, steht in unserem Beitrag MCP erklärt.
Coding-Agenten. In Issues, Pull Requests und Projektdateien kann Text stehen, den ein Agent für einen Auftrag hält. Die Fälle bei Copilot und Cursor zeigen, dass daraus Codeausführung auf dem Rechner werden kann. Welche Regeln für Claude Code in GitHub gelten, beschreibt unser Beitrag zu Claude Code in GitHub Actions.
Zwei weitere Schwachstellen liegen beim Menschen. Laut Invariant Labs schalten viele Nutzer die Einzelfreigaben ab und erlauben Werkzeugaufrufe pauschal. Und eine Auswertung eines öffentlichen Wettbewerbs vom März 2026 weist darauf hin, dass Nutzer meist nur die Endantwort eines Agenten sehen: Ein Angriff kann schädliche Aktionen ausführen, ohne in dieser Antwort eine Spur zu hinterlassen. OWASP rät außerdem, Schreibzugriffe auf das Gedächtnis eines Agenten wie eine privilegierte Aktion zu behandeln, weil eine einmal gespeicherte Anweisung in späteren Sitzungen weiterwirken kann.
Was Anthropic, OpenAI, Microsoft und Google selbst sagen
Anthropic, OpenAI und Microsoft sind sich in einem Punkt einig: Gelöst ist das Problem nicht. Google beschreibt vor allem, wie es Angriffe schwieriger und teurer macht.
Anthropic schrieb im November 2025, kein Browser-Agent sei immun gegen Prompt Injection, und auch eine Erfolgsquote der Angreifer von einem Prozent sei noch ein relevantes Risiko. In der Systemkarte zu Claude Opus 5 vom Juli 2026 beschreibt Anthropic zwei unabhängige Schutzschichten: Die eine prüft, was an Werkzeugergebnissen hereinkommt, die andere blockiert riskante Werkzeugaufrufe, die hinausgehen. Mit beiden Schichten kam in den 129 Browser-Testszenarien kein Angriff gegen Opus 5 durch, ohne sie lag die Erfolgsquote der Angreifer bei 3,7 bis 4,3 Prozent. Anthropic schreibt dazu, der Testaufbau sei bewusst angreiferfreundlich: Die Angreifer optimieren direkt gegen die Testszenarien und haben viele Versuche. Die Dokumentation zu Claude Code hält fest, dass kein System gegen alle Angriffe vollständig immun ist.
OpenAI erwartet laut einem Beitrag vom Dezember 2025 zum Browser ChatGPT Atlas, dass Prompt Injection wie Betrug und Social Engineering im Netz nie vollständig gelöst wird, und rechnet mit Jahren weiterer Arbeit. Als Tipp für Nutzer nennt OpenAI, Agenten keine pauschalen Aufträge zu geben wie „Prüf meine Mails und erledige, was nötig ist“, weil ein weiter Spielraum versteckten Anweisungen mehr Angriffsfläche bietet.
Microsoft nennt indirekte Prompt Injection ein inhärentes Risiko heutiger Sprachmodelle und setzt auf mehrere Schichten: gehärtete Systemanweisungen und eine Markierung fremder Inhalte, die Erkennung über Prompt Shields, Datenzugriffsregeln und die ausdrückliche Zustimmung des Nutzers. Ein Beispiel ist Copilot in Outlook: Die KI entwirft die Mail, abschicken muss der Mensch. Im Mai 2026 schrieben Microsofts Sicherheitsforscher, man müsse anerkennen, dass KI-Modelle keine Sicherheitsgrenze sind.
Google beschreibt für Gemini ebenfalls eine mehrschichtige Abwehr: Klassifikatoren, das Bereinigen von Formatierungen in Antworten, das Unkenntlichmachen verdächtiger Links und Rückfragen beim Nutzer vor bestimmten Aktionen.
Wie belastbar Zahlen zur Abwehr sind, hängt davon ab, wer angreift. Eine Studie vom Oktober 2025, an der Forscher von OpenAI, Anthropic und Google DeepMind mitgearbeitet haben, hat zwölf veröffentlichte Abwehrverfahren mit angepassten Angriffen getestet. Die meisten ließen sich in über 90 Prozent der Fälle umgehen, obwohl für die Mehrzahl ursprünglich Erfolgsquoten der Angreifer nahe null gemeldet worden waren. In einem öffentlichen Wettbewerb mit 464 Teilnehmenden und 272.000 Angriffsversuchen erwiesen sich alle 13 getesteten Spitzenmodelle als angreifbar, mit Erfolgsquoten zwischen 0,5 und 8,5 Prozent. Lies Prozentangaben in Werbematerialien deshalb immer mit der Frage, ob gegen feste Angriffssätze oder gegen Angreifer getestet wurde, die die Abwehr kannten.
So schützt du dein Unternehmen: die Maßnahmen im Überblick
Weil das Modell selbst keine Sicherheitsgrenze ist, liegt der Schutz in der Umgebung. Das NCSC rät, vor allem auf feste Begrenzungen dessen zu setzen, was das System tun darf, und sich weniger darauf zu verlassen, schädliche Inhalte vor dem Modell abzufangen. Für einen Mittelständler ohne eigene Security-Abteilung lässt sich das in zehn Maßnahmen übersetzen:
| Maßnahme | Was du konkret tust | Grundlage |
|---|---|---|
| Bestandsaufnahme | Liste alle KI-Werkzeuge, die E-Mails, Webseiten, Uploads, Tickets oder Code lesen, mit ihren Zugriffen | BSI: systematische Risikoanalyse vor der Integration |
| Knappe Rechte | Eigenes Konto oder Token für den Agenten, nur die nötigen Postfächer, Ordner und Repositories, Lesen statt Schreiben, wo es reicht | OWASP: geringste Rechte je Vorgang, Zugangsdaten im Code und nicht im Modell |
| Drei-Fragen-Test | Für jeden Agenten prüfen, ob er fremde Inhalte, vertrauliche Daten und Handlungsmacht zugleich hat, und ein Bein wegnehmen | OWASP 2026, Meta, BSI-Checkliste |
| Freigabe vor Außenwirkung | Zahlungen, Versand, Löschen und Veröffentlichen nur nach Klick eines Menschen, der die exakte Aktion sieht | BSI-Basisschutz 2026, OWASP 2026, Microsoft |
| Ausleitungswege sperren | Links und Bilder in KI-Antworten nur von freigegebenen Adressen laden lassen, im Zweifel sperren | BSI-Basisschutz 2026 |
| Getrennte Sitzungen | Browser-Agenten nicht in der Sitzung mit Onlinebanking, Admin-Konsolen oder Personalakten arbeiten lassen | OpenAI (abgemeldeter Modus), Brave |
| Enge Aufträge | Konkrete Aufgaben statt pauschaler Vollmachten formulieren | OpenAI |
| Geprüfte Erweiterungen | MCP-Server, Plugins und Erweiterungen nur aus bekannten Quellen, Versionen festhalten | OWASP 2026 |
| Protokoll | Ein- und Ausgaben, Werkzeugaufrufe und Schnittstellenaufrufe aufzeichnen und stichprobenartig prüfen | NCSC, BSI-Basisschutz 2026 |
| Notfallplan und Schulung | KI-Szenarien in den Notfallplan aufnehmen, Mitarbeitende auf überzeugend argumentierende Assistenten vorbereiten | BSI 2023, KI-Sicherheitsstudie 2026 |
Beim letzten Punkt hat der Mittelstand Nachholbedarf. In der KI-Sicherheitsstudie 2026, für die forsa im Auftrag von BSI und TÜV-Verband vom 22. Juni bis 31. Juli 2026 Unternehmen befragt hat, haben nur 11 Prozent derjenigen, die KI nutzen oder einführen wollen, eigene Prozesse für KI-bezogene Sicherheitsvorfälle. 65 Prozent sehen eine Manipulation von außen als Risiko beim Einsatz von KI-Agenten, eingesetzt werden die Agenten bislang aber nur von 5 Prozent der KI-nutzenden Unternehmen. Das ist ein Vorteil: Wer jetzt beginnt, kann die Regeln aufstellen, bevor die Agenten im Alltag laufen. Das BSI warnte schon 2023 vor einem Effekt, der in keiner Schulung fehlen sollte: Ein manipulierter Chatbot kann wie bei einem Social-Engineering-Angriff glaubhaft begründen, warum eine schädliche Aktion unbedingt freigegeben werden muss.
Die Freigabe durch einen Menschen ist der wichtigste Baustein, aber kein Allheilmittel. OWASP weist auf zwei Grenzen hin: Unsichtbare Zeichen können dafür sorgen, dass die angezeigte Aktion von der ausgeführten abweicht, und bei vielen Rückfragen lässt die Aufmerksamkeit nach. Deshalb gehören knappe Rechte und gesperrte Ausleitungswege immer dazu. Wie du festlegst, was ein Agent allein darf, was nur mit Freigabe und was nie, zeigt unser Leitfaden zum ersten eigenen KI-Agenten. Warum eine Regel im Prompt nur eine Bitte ist und erst eine technische Sperre sie durchsetzt, erklärt unser Beitrag zum Agent-Harness.
Schützt lokale KI? Viele Unternehmen setzen auf Modelle im eigenen Rechenzentrum. Das hilft beim Datenschutz, gegen Prompt Injection hilft es nicht. Das BSI schreibt im Basisschutz ausdrücklich, dass Sicherheitsmaßnahmen überwiegend unabhängig vom verwendeten Modell umgesetzt werden müssen. Eine präparierte E-Mail wirkt auf ein lokales Modell genauso wie auf eines in der Cloud.
Fragen an deinen KI-Anbieter
Wenn du einen Agenten einkaufst oder bauen lässt, bekommst du die Antworten auf diese Fragen am besten schriftlich:
- Welche Rechte und Zugriffe bekommt der Agent, und liegen Zugangsdaten in der Anwendung oder im Modell?
- Zeigt die Freigabe die exakte Aktion, also Empfänger, Betrag und Inhalt, oder nur eine Zusammenfassung?
- Welche Inhalte von außen liest der Agent, und wie werden sie als nicht vertrauenswürdig markiert?
- Werden Links und Bilder zu fremden Servern in den Antworten blockiert?
- Wer darf ins Gedächtnis des Agenten schreiben, und lässt es sich prüfen und löschen?
- Wie werden MCP-Server und Erweiterungen ausgewählt, in welcher Version festgehalten und aktualisiert?
- Wurde der Agent gegen angepasste Angriffe getestet, und für welche Version und welche Einsatzbedingungen gilt der Prüfbericht?
- Was wird protokolliert, wie lange, und wer bekommt im Ernstfall Bescheid?
Hörst du bei Frage 7 nur eine Prozentzahl ohne Testbedingungen, hak nach. Heißt es bei Frage 2, eine Freigabe sei unnötig, weil das Modell sicher sei, widerspricht das den Aussagen der Hersteller selbst.
Was das Recht verlangt
Den Begriff Prompt Injection kennt die KI-Verordnung der EU nicht. Artikel 15 Absatz 5 verlangt aber, dass Hochrisiko-KI-Systeme widerstandsfähig gegen Versuche unbefugter Dritter sind, ihre Verwendung, Ausgaben oder Leistung durch Ausnutzung von Systemschwachstellen zu verändern. Als technische Lösungen nennt der Artikel unter anderem Maßnahmen gegen Eingaben, die das Modell zu Fehlern verleiten sollen. Das BSI ordnet Prompt Injections diesen sogenannten Evasion-Angriffen zu. Die Pflicht trifft nur Hochrisiko-Systeme, etwa bestimmte KI im Personalwesen, und sie gilt später als ursprünglich geplant: Nach der Änderung durch die Verordnung (EU) 2026/1744 gelten die Hochrisiko-Anforderungen erst ab dem 2. Dezember 2027 für Systeme nach Anhang III und ab dem 2. August 2028 für Systeme nach Anhang I.
Für alle anderen Unternehmen zählt die DSGVO. Verarbeitet ein KI-Assistent personenbezogene Daten, verlangt Artikel 32 geeignete technische und organisatorische Maßnahmen und nennt dabei ausdrücklich das Risiko einer unbefugten Offenlegung. Fließen Daten über eine Prompt Injection ab, ist das eine Verletzung des Schutzes personenbezogener Daten. Artikel 33 verlangt dann eine Meldung an die Aufsichtsbehörde möglichst binnen 72 Stunden, es sei denn, die Verletzung führt voraussichtlich nicht zu einem Risiko für die Betroffenen. Das ist eine allgemeine Einordnung und kein Rechtsrat für den Einzelfall. Halte in deiner KI-Richtlinie fest, welche Agenten welche Daten und Werkzeuge nutzen dürfen, und trage Agenten mit Außenwirkung in dein KI-Register ein.
So startest du diese Woche
Nimm dir eine Stunde mit der Person, die bei euch die IT verantwortet. Schreibt auf, welche KI-Werkzeuge im Haus E-Mails, Dokumente, Webseiten oder Tickets lesen, und macht für jedes den Drei-Fragen-Test. Wo alle drei Antworten ja lauten, nehmt ein Bein weg oder schaltet die Einzelfreigabe wieder ein. Prüft danach die Einstellungen eurer Assistenten auf pauschale Freigaben wie „immer erlauben“ und darauf, ob Antworten Bilder und Links von beliebigen Servern laden dürfen. Wer mit eigenen Agenten erst anfängt, plant diese Grenzen von Beginn an ein: In unserem Angebot zu KI-Software bauen und betreiben wir Agenten mit euch, mit Prüfliste und menschlicher Freigabe vor jeder Aktion mit Außenwirkung. Wie Agenten in Tests eigenmächtig gehandelt haben und welche Prüfpunkte daraus folgen, zeigt unser Beitrag zum AISI-Bericht über KI-Agenten.
Häufige Fragen
Was ist Prompt Injection, einfach erklärt?
Bei einer Prompt Injection schmuggelt jemand Anweisungen in einen Text, den eine KI verarbeitet, und die KI folgt ihnen, als kämen sie von ihrem Nutzer. Das kann direkt im Eingabefeld passieren oder versteckt in einer E-Mail, einer Webseite, einem PDF oder einem Ticket, das die KI im Auftrag liest. Die Ursache: Sprachmodelle trennen Anweisungen und Daten nicht sauber, sie sehen alles als eine Folge von Tokens.
Was ist der Unterschied zwischen Prompt Injection und Jailbreak?
Ein Jailbreak zielt auf die Sicherheitsregeln des Modells selbst: Jemand will der KI Antworten entlocken, die sie verweigern soll. Eine Prompt Injection zielt auf die Anwendung drumherum: Fremde Anweisungen sollen den Auftrag umlenken, etwa Daten ausleiten oder eine Aktion auslösen. OWASP führt Jailbreaking als Teilmenge der Prompt Injection, NIST als eigenen direkten Angriff. Für Unternehmen ist die indirekte Prompt Injection das größere Risiko.
Kann man Prompt Injection vollständig verhindern?
Nach heutigem Stand nein. Das BSI nennt indirekte Prompt Injections im Basisschutz vom September 2026 ein nicht abschließend lösbares Problem, OWASP schreibt, dass es heute keinen zuverlässigen Schutzmechanismus gibt, und OpenAI erwartet, dass das Problem wie Betrug und Social Engineering nie vollständig gelöst wird. Begrenzen lässt sich der Schaden: mit knappen Rechten, Freigaben vor riskanten Aktionen und gesperrten Wegen für Datenabfluss.
Wie schütze ich mein Unternehmen vor Prompt Injection?
Erfasse zuerst, welche KI-Werkzeuge E-Mails, Webseiten, Uploads oder Tickets lesen. Gib jedem Agenten nur die Rechte, die er für die Aufgabe braucht, und lass Zahlungen, Versand, Löschen und Veröffentlichen von einem Menschen freigeben. Sperre Links und Bilder zu fremden Servern, trenne die Sitzungen des Agenten von Banking und Admin-Zugängen und protokolliere, was er tut. Prüfe jeden Agenten mit drei Fragen: Liest er fremde Inhalte, kommt er an vertrauliche Daten, kann er nach außen handeln?
Schützt eine lokal betriebene KI vor Prompt Injection?
Nein. Der Betriebsort ändert nichts daran, dass ein Sprachmodell Anweisungen und Daten nicht unterscheiden kann. Das BSI schreibt deshalb, dass Schutzmaßnahmen überwiegend unabhängig vom verwendeten Modell umgesetzt werden müssen. Eine lokale KI hilft beim Datenschutz, gegen eine präparierte E-Mail im Posteingang hilft sie nicht.
Reicht es, wenn ein Mensch jede Aktion des Agenten freigibt?
Die Freigabe ist der wichtigste Schutz, aber sie hat Grenzen. OWASP empfiehlt, dem Prüfer die exakte Aktion zu zeigen und keine Zusammenfassung, weil unsichtbare Zeichen die angezeigte von der ausgeführten Aktion trennen können. Dazu kommt Freigabe-Müdigkeit: Wer viele Rückfragen am Tag bestätigt, liest sie irgendwann nicht mehr genau. Deshalb gehören knappe Rechte und gesperrte Ausleitungswege immer dazu.
Gibt es echte Fälle von Prompt Injection in Unternehmen?
Ja, dokumentiert sind vor allem Schwachstellen, die Sicherheitsforscher gefunden und die Hersteller geschlossen haben. Bei Microsoft 365 Copilot reichte 2025 eine präparierte E-Mail, um ohne Zutun des Nutzers Daten auszuleiten (CVE-2025-32711, von Microsoft serverseitig behoben). Über ein präpariertes GitHub-Issue ließ sich ein Agent dazu bringen, Daten aus privaten Repositories öffentlich zu machen. Weitere Fälle betrafen Slack AI, Gemini, GitHub Copilot und Cursor.
Quellen & Referenzen
- BSI: Basisschutz gegen Indirect Prompt Injections in dokumentbasierten LLM-Chats, Version 1.0 vom 14.09.2026. bsi.bund.de
- BSI: IT-Sicherheitsinformation „Indirect Prompt Injections, Intrinsische Schwachstelle in anwendungsintegrierten KI-Sprachmodellen“, Juli 2023. bsi.bund.de
- BSI: Evasion-Attacks auf LLMs, Gegenmaßnahmen in der Praxis, Checkliste, deutsche Fassung Version 1.0 vom 15.01.2026. bsi.bund.de
- BSI: Sicherheitsinformation zu den Auswirkungen von KI auf die Cybersicherheit von Organisationen, 22.06.2026. bsi.bund.de
- BSI und TÜV-Verband: KI-Sicherheitsstudie 2026, Befragung durch forsa vom 22.06. bis 31.07.2026. bsi.bund.de
- OWASP GenAI Security Project: OWASP Top 10 for LLM Applications 2026, LLM01:2026 Prompt Injection. genai.owasp.org
- OWASP GenAI Security Project: LLM01:2025 Prompt Injection. genai.owasp.org
- NCSC (Vereinigtes Königreich): Prompt injection is not SQL injection (it may be worse), 08.12.2025. ncsc.gov.uk
- NIST: AI 100-2 E2025, Adversarial Machine Learning, Taxonomie der Angriffe, März 2025. nvlpubs.nist.gov
- Microsoft Security Response Center: CVE-2025-32711, Microsoft 365 Copilot. msrc.microsoft.com
- Microsoft Security Response Center: CVE-2025-53773, GitHub Copilot und Visual Studio. msrc.microsoft.com
- Microsoft Security Response Center: How Microsoft defends against indirect prompt injection attacks, 29.07.2025. microsoft.com
- Microsoft Security Blog: When prompts become shells, Schwachstellen in Semantic Kernel, 07.05.2026. microsoft.com
- Anthropic: Mitigating the risk of prompt injections in browser use, 24.11.2025. anthropic.com
- Anthropic: System Card Claude Opus 5, Abschnitt 5.2 Prompt Injection, Juli 2026. anthropic.com
- Anthropic, Claude-Code-Dokumentation: Security. code.claude.com
- OpenAI: Continuously hardening ChatGPT Atlas against prompt injection attacks, 22.12.2025. openai.com
- OpenAI: Understanding prompt injections, a frontier security challenge, 07.11.2025. openai.com
- Google: Mitigating prompt injection attacks with a layered defense strategy, 13.06.2025. blog.google
- Meta AI: Agents Rule of Two, a practical approach to AI agent security, 31.10.2025. ai.meta.com
- Slack: Security update zu Slack AI, 21.08.2024. slack.com
- Tenable Research: Advisory TRA-2025-21 zum Browsing-Werkzeug von Gemini, 30.06.2025. tenable.com
- Cursor: Security Advisory GHSA-4cxx-hrm3-49rm (CVE-2025-54135). github.com
- Invariant Labs: GitHub MCP Exploited, 26.05.2025. invariantlabs.ai
- Brave: Agentic browser security, Indirect Prompt Injection in Perplexity Comet, 20.08.2025. brave.com
- Yu u. a.: Assessing Prompt Injection Risks in 200+ Custom GPTs, arXiv:2311.11538. arxiv.org
- Simon Willison: The lethal trifecta for AI agents, 16.06.2025. simonwillison.net
- Nasr, Carlini u. a.: The Attacker Moves Second, arXiv:2510.09023, Oktober 2025. arxiv.org
- Dziemian u. a.: How Vulnerable Are AI Agents to Indirect Prompt Injections?, arXiv:2603.15714, März 2026. arxiv.org
- Verordnung (EU) 2024/1689 (KI-Verordnung), Artikel 15. eur-lex.europa.eu
- Verordnung (EU) 2026/1744 zur Änderung der KI-Verordnung, Geltungsbeginn der Hochrisiko-Pflichten. eur-lex.europa.eu
- Verordnung (EU) 2016/679 (DSGVO), Artikel 4, 32 und 33. eur-lex.europa.eu