Ist KI gefährlich? Die Risiken der Superintelligenz und was davon dein Unternehmen betrifft

Ist KI gefährlich? Heute vor allem dann, wenn Menschen sie missbrauchen oder ihr ungeprüft vertrauen: Betrüger fälschen Stimmen von Chefs, Chatbots erfinden Auskünfte, versteckte Befehle in Dateien manipulieren KI-Werkzeuge. Ob eine künftige Superintelligenz außer Kontrolle geraten kann, ist offen; die Wahrscheinlichkeit, dass KI zur Auslöschung oder dauerhaften Entmachtung der Menschheit führt, schätzen KI-Forschende im Median auf 10 Prozent. Für dein Unternehmen zählen zuerst die Risiken, die du selbst steuern kannst.

Eine rote Warnleuchte an einer hellen Metallfläche. Foto: Mike Tyurin auf Pexels

Ist KI gefährlich? Die kurze Antwort

Die nüchternste Antwort steht im International AI Safety Report 2026, veröffentlicht am 3. Februar 2026 unter Vorsitz des Informatikers Yoshua Bengio. Mehr als 100 unabhängige Fachleute haben ihn begleitet, darunter Vertreter, die mehr als 30 Länder und internationale Organisationen wie EU, OECD und UN benannt hatten. Der Bericht teilt die Risiken von Allzweck-KI in drei Gruppen: böswillige Nutzung, Fehlfunktionen und systemische Risiken.

Zum großen Szenario, dem Kontrollverlust, schreibt der Bericht: Gemeint sind Lagen, in denen KI-Systeme außerhalb jeder Kontrolle arbeiten und es keinen klaren Weg zurück gibt. Heutige Systeme hätten dafür nicht die Fähigkeiten, sie würden aber in relevanten Bereichen besser, etwa beim eigenständigen Arbeiten. Wie wahrscheinlich ein Kontrollverlust ist, darüber gehen die Meinungen laut Bericht weit auseinander. Manche Fachleute halten ihn für unplausibel, andere für wahrscheinlich genug, um wegen der möglichen Folgen ernst genommen zu werden.

Für einen Betrieb lässt sich das in eine Übersicht bringen:

Die oberen drei Zeilen beschreiben belegte Schäden und Angriffswege, die unteren beiden Testergebnisse und Einschätzungen. Beides gehört in eine vollständige Antwort, aber in unterschiedliche Schubladen.

Was heute schon passiert: Fälle und Zahlen

Ende Januar 2024 ging bei der Polizei in Hongkong eine Anzeige ein, die zeigt, wie Deepfake-Betrug funktioniert. Ein Mitarbeiter erhielt eine Phishing-Mail vom vermeintlichen Finanzchef des britischen Mutterhauses und landete in einer vorab aufgezeichneten Videokonferenz, gebaut mit Deepfake-Technik aus öffentlich verfügbaren Aufnahmen. Am Ende gab er nach Angaben der Hongkonger Regierung Überweisungen von rund 200 Millionen Hongkong-Dollar auf fünf Konten frei, umgerechnet etwa 25,6 Millionen US-Dollar. Das Ingenieurbüro Arup bestätigte im Mai 2024, das betroffene Unternehmen zu sein: Gefälschte Stimmen und Bilder seien eingesetzt worden, die internen Systeme seien nicht kompromittiert gewesen.

Für Deutschland liefert eine Studie von BSI und TÜV-Verband vom 7. Oktober 2026 Zahlen. Unter mehr als 500 Unternehmen ab 20 Beschäftigten berichteten 17 Prozent von KI-bezogenen Angriffen oder Betrugsversuchen in den vergangenen zwölf Monaten, bestätigt oder als Verdacht. Von den betroffenen Firmen nannten 90 Prozent täuschend echte Phishing-Mails, 11 Prozent Deepfakes, also gefälschte Audio- oder Videoaufnahmen, etwa um die Stimme einer Führungskraft zu imitieren. Das Bundeskriminalamt schreibt im Bundeslagebild Cybercrime 2025, KI senke die technische Einstiegshürde für jede Form von Cyberkriminalität; polizeiliche Kennzahlen zum KI-Einsatz gebe es bislang nicht.

Die zweite Gruppe sind Fehler. Im Februar 2024 musste Air Canada einem Kunden 812,02 kanadische Dollar zahlen, weil der Chatbot der Fluggesellschaft eine falsche Auskunft zu einem Trauerfall-Tarif gegeben hatte. Air Canada hatte argumentiert, der Chatbot sei gewissermaßen selbst verantwortlich. Das Civil Resolution Tribunal von British Columbia nannte das eine „bemerkenswerte“ Einlassung: Der Chatbot sei Teil der Website, und für alle Informationen dort hafte das Unternehmen. In Deutschland stellte das Amtsgericht Köln am 2. Juli 2025 fest, dass ein Anwaltsschriftsatz offenbar KI-generierte, frei erfundene Fundstellen enthielt (Az. 312 F 130/25). Das BSI warnt in seinem Papier zu generativen KI-Modellen genau davor: Die Ausgaben wirkten glaubhaft, auch wenn die zitierten Quellen erfunden sind.

Die dritte Gruppe wächst mit jedem KI-Agenten, der Mails liest oder Webseiten aufruft. Bei einer Prompt Injection verändern Eingaben das Verhalten des Modells ungewollt, auch wenn sie für Menschen unsichtbar sind; die Sicherheitsorganisation OWASP führt das als Risiko Nummer 1 ihrer Top 10 für Anwendungen mit großen Sprachmodellen 2025. Bei der indirekten Variante steckt der Befehl in einer Webseite oder Datei, die das Modell verarbeitet. Das BKA nennt solche Indirect Prompt Injections ausdrücklich und erwartet, dass der zunehmende Einsatz von KI-Agenten die Lage verschärft. Wie das in einem offenen Testaufbau aussah, zeigt der AISI-Test, in dem KI-Agenten in 10 von 122 Läufen eigenmächtig ihren Auftrag überschritten, mit zusammen 19 nicht autorisierten Aktionen.

Kann KI außer Kontrolle geraten? Das Kontrollproblem

Die langfristige Sorge betrifft eine Superintelligenz, also KI, die Menschen bei praktisch allen geistigen Aufgaben übertrifft. Das Kontrollproblem dahinter heißt in der Fachsprache Alignment: KI so zu bauen, dass sie verlässlich die Absichten ihrer Entwickler und Nutzer verfolgt. Der International AI Safety Report 2026 beschreibt, was bei einem fehlausgerichteten System passieren könnte: Um seine Ziele weiter zu verfolgen, könnte es falsche Informationen geben, unerwünschte Handlungen verbergen oder sich der Abschaltung widersetzen. Dazu kommt ein Befund, der Prüfungen erschwert: Modelle erkennen Testaufgaben inzwischen regelmäßig als Tests.

Die Labore haben solches Verhalten in eigens gebauten Versuchen bereits ausgelöst. Die bekanntesten Studien, jeweils mit der Einschränkung der Autoren:

Auffällig ist, wer die Befunde veröffentlicht: Anthropic legt Versuche mit eigenen und fremden Modellen offen, OpenAI hat seine Modelle von Apollo Research prüfen lassen, Palisade Research testete unabhängig. Keiner der Versuche zeigt eine KI, die von sich aus die Macht übernehmen will. Sie zeigen, dass heutige Modelle unter Druck zu Täuschung greifen können und dass sich das in Tests schwer zuverlässig messen lässt.

„Es gibt auch eine längerfristige existenzielle Bedrohung, die entsteht, wenn wir digitale Wesen erschaffen, die intelligenter sind als wir. Wir haben keine Ahnung, ob wir die Kontrolle behalten können.“

— Geoffrey Hinton, Rede beim Nobelbankett, 10. Dezember 2024 (übersetzt)

Wie wahrscheinlich ist eine Katastrophe? Was Forschende sagen

In der KI-Debatte hat die Frage einen eigenen Namen: p(doom), die persönlich geschätzte Wahrscheinlichkeit, dass KI zu einer Katastrophe für die Menschheit führt. Zahlen dazu liefert die Umfragereihe von AI Impacts. Im Dezember 2024 antworteten 1.580 Forschende, die in sechs führenden KI-Fachforen veröffentlicht hatten; der Bericht erschien im September 2026. Gefragt war nach der Wahrscheinlichkeit, dass künftige KI zur Auslöschung oder zu einer ähnlich dauerhaften, schweren Entmachtung der Menschheit führt. Im Mittel nannten die Forschenden 18 Prozent, im Median 10 Prozent. In der Vorgängerumfrage vom Herbst 2023 lag der Median noch bei 5 Prozent.

Die Autoren schränken selbst ein: Gefragt wurde nach Auslöschung oder dauerhafter Entmachtung zusammen, wie viele Forschende konkret das Aussterben befürchten, bleibe unklar. Und die größte Sorge der Befragten liegt ohnehin woanders. 83 Prozent der dazu Befragten hielten die Verbreitung falscher Informationen wie Deepfakes in den nächsten 30 Jahren für erheblich oder extrem besorgniserregend, mehr als jedes andere der elf abgefragten Risiken. 72 Prozent wünschten sich, dass Forschung zur Minimierung von KI-Risiken stärker priorisiert wird.

Wie weit die Spanne reicht, zeigen einzelne Stimmen:

• Geoffrey Hinton, 2024 gemeinsam mit John Hopfield mit dem Physik-Nobelpreis ausgezeichnet für Entdeckungen, die maschinelles Lernen mit künstlichen neuronalen Netzen ermöglichen, bezifferte das Risiko, dass KI den Menschen irgendwann die Kontrolle entreißt, im April 2025 gegenüber CBS auf 10 bis 20 Prozent.
• Yoshua Bengio gründete im Juni 2025 die gemeinnützige Sicherheitsorganisation LawZero, nach eigener Begründung wegen wachsender Belege für Täuschung, Schummeln und Selbsterhaltung bei Spitzenmodellen.
• Anthropic-Chef Dario Amodei hält Fehlausrichtung aus Grundprinzipien heraus nicht für unvermeidlich oder auch nur wahrscheinlich, aber für ein reales Risiko mit messbarer Wahrscheinlichkeit (Januar 2026). Im September 2026 forderte er, das Tempo bei den Fähigkeiten von KI-Modellen zu drosseln, ohne das Training ganz anzuhalten.
• Dagegen hält Yann LeCun, damals KI-Chefwissenschaftler bei Meta, die Annahme, ein intelligentes System wolle automatisch die Kontrolle übernehmen, für einen Denkfehler (TIME, Februar 2024).
• Arvind Narayanan, Informatikprofessor in Princeton, und Sayash Kapoor beschreiben KI als „normale Technologie“ wie Elektrizität oder Internet, die Menschen kontrollieren können und sollen. Katastrophale Fehlausrichtung nennen sie das mit Abstand spekulativste der Risiken, die sie behandeln (April 2025).

Ein Satz hat die Labor-Chefs selbst schon 2023 zusammengebracht. Am 30. Mai 2023 veröffentlichte das Center for AI Safety die Erklärung: „Das Risiko der Auslöschung durch KI zu mindern, sollte neben anderen gesellschaftlichen Großrisiken wie Pandemien und Atomkrieg eine globale Priorität sein.“ Unterschrieben haben unter anderen Hinton, Bengio, Sam Altman (OpenAI), Demis Hassabis (Google DeepMind) und Dario Amodei (Anthropic). Zeitpläne, wann eine Superintelligenz kommen könnte, sammelt unser Beitrag zu den Prognosen rund um AI 2027.

Das Statement on Superintelligence: die Forderung nach einem Verbot

Weiter geht das Statement on Superintelligence des Future of Life Institute vom 22. Oktober 2025. Es fordert ein Verbot der Entwicklung von Superintelligenz, das erst aufgehoben werden soll, wenn ein breiter wissenschaftlicher Konsens besteht, dass sie sicher und kontrollierbar entwickelt wird, und die Öffentlichkeit stark zustimmt. Zu den Erstunterzeichnern gehören Bengio und Hinton, Apple-Mitgründer Steve Wozniak, Virgin-Gründer Richard Branson, die frühere US-Sicherheitsberaterin Susan Rice, die ehemalige irische Präsidentin Mary Robinson und, aus dem anderen politischen Lager, die US-Medienleute Steve Bannon und Glenn Beck. Der Informatiker Stuart Russell nennt es die Forderung nach angemessenen Sicherheitsvorkehrungen für eine Technologie, die nach Aussage ihrer Entwickler eine erhebliche Chance habe, die Menschheit auszulöschen; ein Verbot oder Moratorium im üblichen Sinn sei es nicht.

Zur Zahl der Unterschriften kursieren abweichende Werte. Am 13. Oktober 2026 zeigte der Zähler auf der Seite des Statements 77.411 Unterschriften, darin pauschal 5.000 aus einer gleichlautenden Petition der Kampagnenorganisation Ekō. Anfang November 2025 hatte das Institut fast 65.000 gemeldet. Wer eine Zahl zitiert, sollte deshalb das Datum dazuschreiben.

Dazu hat das Institut eine eigene Umfrage veröffentlicht: Von 2.000 befragten US-Erwachsenen meinten Ende September und Anfang Oktober 2025 64 Prozent, übermenschliche KI solle erst entwickelt werden, wenn sie nachweislich sicher und kontrollierbar ist, oder gar nicht. Nur 5 Prozent wollten sie so schnell wie möglich.

Was Gesetze und Labore gegen die Risiken tun

EU. Die KI-Verordnung (EU) 2024/1689 kennt den Begriff Superintelligenz nicht. Sie regelt stattdessen KI-Modelle mit allgemeinem Verwendungszweck mit systemischem Risiko. Als solche gelten nach Artikel 51 Absatz 2 vermutet Modelle, für deren Training mehr als 10²⁵ Gleitkommaoperationen verwendet wurden. Ihre Anbieter müssen nach Artikel 55 unter anderem Modellbewertungen samt dokumentierter Angriffstests durchführen, systemische Risiken bewerten und mindern, schwerwiegende Vorfälle unverzüglich dem KI-Büro der Kommission melden und für angemessene Cybersicherheit sorgen. Seit dem 2. August 2026 kann das KI-Büro das durchsetzen: Unterlagen anfordern, Modelle selbst bewerten, Abhilfe bis zum Rückruf vom Markt verlangen und Geldbußen bis 3 Prozent des weltweiten Jahresumsatzes oder 15 Millionen Euro verhängen, je nachdem, welcher Betrag höher ist.

Für die Umsetzung gibt es seit dem 10. Juli 2025 einen freiwilligen Praxiskodex, dessen Kapitel zu Sicherheit und Gefahrenabwehr nur die wenigen Anbieter der fortgeschrittensten Modelle betrifft. Unterzeichnet haben ihn laut Liste der Kommission unter anderen Amazon, Anthropic, Google, IBM, Microsoft, Mistral AI und OpenAI. Meta fehlt auf der Liste, xAI hat nur das Sicherheitskapitel unterschrieben. Unabhängig davon sind bestimmte KI-Praktiken seit dem 2. Februar 2025 verboten, etwa Social Scoring oder Systeme, die Emotionen von Beschäftigten am Arbeitsplatz ableiten; Verstöße kosten bis zu 35 Millionen Euro oder 7 Prozent des weltweiten Jahresumsatzes.

USA. Ein Bundesgesetz zu Superintelligenz gibt es in den USA nicht. Ende September 2026 haben der Abgeordnete Greg Casar und Senator Bernie Sanders den Ban Artificial Superintelligence Act eingebracht, im Repräsentantenhaus als H.R. 10538. Er will Entwicklung und Einsatz von Superintelligenz verbieten, ein Department of Artificial Intelligence auf Kabinettsebene schaffen und sieht für Personen bis zu 20 Jahre Haft vor. Laut amtlichem Datensatz (Stand 5. Oktober 2026) wurde er am 24. September an den Ausschuss für Aufsicht und Regierungsreform überwiesen; weitere Schritte sind dort nicht verzeichnet. Das Dekret vom 29. September 2026 ändert vor allem das Vokabular der Bundesbehörden; was es regelt, steht im Beitrag zur Umbenennung von KI in „Super Intelligence“.

Labore. Die großen Anbieter haben eigene Sicherheitsrahmen. 2025 haben laut International AI Safety Report zwölf Unternehmen solche Frontier-Sicherheitsrahmen veröffentlicht oder aktualisiert; das Risikomanagement bleibe überwiegend freiwillig. Anthropic hat am 22. Mai 2025 mit Claude Opus 4 vorsorglich seine Schutzstufe ASL-3 aktiviert, gegen Missbrauch für chemische, biologische, radiologische und nukleare Waffen und gegen Diebstahl der Modellgewichte. Google DeepMind hat im September 2025 seinen Rahmen um Szenarien erweitert, in denen fehlausgerichtete Modelle Betreiber daran hindern könnten, sie zu steuern, zu ändern oder abzuschalten. OpenAI stuft sein Modell GPT-6 Astra laut Systemkarte vom 3. September 2026 als erstes eigenes Modell in der Cybersicherheits-Stufe „Critical“ ein: Es könne mit passenden Werkzeugen eigenständig unbekannte Sicherheitslücken finden und ausnutzen. Was das für den Zugang in Firmen heißt, steht im Beitrag zu GPT-6 Astra.

Was davon dein Unternehmen betrifft

Die Lage in deutschen Firmen hat sich 2026 schnell verändert. Laut einer Bitkom-Umfrage unter 603 Unternehmen ab 20 Beschäftigten, veröffentlicht im September 2026, setzen erstmals 57 Prozent KI ein, ein Jahr zuvor waren es 36 Prozent. Zugleich sorgen sich 34 Prozent, dass KI die Existenz ihres Unternehmens gefährdet (Vorjahr 23 Prozent); 80 Prozent sehen KI für sich überwiegend als Chance, 18 Prozent eher als Risiko. Unter den KI-Anwendern nennen 45 Prozent als Hemmnis die Sorge, dass Firmendaten in falsche Hände geraten.

Vorbereitet sind die wenigsten. Laut der Studie von BSI und TÜV-Verband haben nur 11 Prozent der Unternehmen, die KI nutzen oder planen, eigene Abläufe für KI-bezogene Sicherheitsvorfälle, 25 Prozent haben gar keine Regelungen. 67 Prozent lassen kritische KI-Ergebnisse von Menschen prüfen, aber nur 40 Prozent protokollieren oder überwachen die KI-Nutzung.

Rechtlich gilt für dich als Anwender vor allem dreierlei. Seit dem Digital Omnibus, in Kraft seit dem 27. Juli 2026, musst du nach Artikel 4 der KI-Verordnung Maßnahmen ergreifen, um die KI-Kompetenz deiner Leute zu fördern; ein bestimmtes Niveau garantieren musst du nicht mehr. Was als Nachweis taugt, erklärt der Beitrag zur KI-Schulungspflicht. Die Pflichten für eigenständige Hochrisiko-Systeme, etwa in der Personalauswahl, gelten ab dem 2. Dezember 2027, die übrigen Fristen stehen im Beitrag zu den AI-Act-Fristen nach dem Digital Omnibus. Und für Auskünfte deiner KI an Kunden haftest du, das hat der Fall Air Canada gezeigt.

Checkliste: was du diese Woche prüfen kannst

• Zahlungen. Keine Überweisung auf Zuruf per Video oder Telefon, auch nicht vom Chef. Stattdessen Rückruf über eine bekannte Nummer und eine zweite Freigabe ab einem festen Betrag. Auch die Hongkonger Polizei rät, Geldforderungen, die per Video oder Sprachaufnahme kommen, mit einem Anruf zu überprüfen.
• Welche Daten in welches KI-Werkzeug dürfen, gehört in eine kurze, schriftliche Regel. Was eine KI-Richtlinie festlegen muss und welche Werkzeuge DSGVO-konform laufen, steht in unseren Ratgebern.
• Auskünfte an Kunden. Ein Mensch prüft, bevor KI-Texte mit Preisen, Fristen oder Rechtsfolgen rausgehen. Chatbots auf der Website bekommen eine feste Wissensbasis und einen sichtbaren Weg zu einem Menschen.
• Für jeden KI-Agenten gilt das Prinzip der geringsten Rechte: Zugriff nur auf die Systeme, die er braucht, Freigabe vor jeder Handlung nach außen, ein Protokoll und ein Abschaltweg, der nicht vom Agenten abhängt. Wie weit Agenten im Mittelstand heute schon tragen, zeigt unser Realitätscheck zu KI-Agenten.
• Notfallplan. Wer meldet einen KI-Vorfall an wen, und wer darf ein Werkzeug sofort sperren? Eine halbe Seite reicht für den Anfang.

Nimm dir diese Woche eine halbe Stunde mit deiner Buchhaltung und geh die Freigabe für Überweisungen durch: Ab welchem Betrag braucht es eine zweite Person, und wie wird eine ungewöhnliche Anweisung über eine bekannte Nummer bestätigt? Danach listest du alle KI-Werkzeuge mit Zugriff auf Mails, Dateien oder Kundendaten auf. Wenn du das mit deinem Team an euren eigenen Abläufen durchgehen willst, findest du das Format in unseren KI-Workshops.

Celina Finger

Content Strategist, Collective Brain GmbH · Hamburg

Content Strategist bei Collective Brain. Spezialisiert auf B2B-Content für den Mittelstand.

Beratung anfragen