KI-Halluzinationen: warum Sprachmodelle Fakten erfinden und wie du sie im Betrieb abfängst

Eine KI-Halluzination ist eine Antwort, die überzeugend klingt und trotzdem falsch ist: ein Urteil, das es nicht gibt, eine Zahl ohne Quelle, ein Zitat, das nie gefallen ist. Im Wissenstest von Artificial Analysis beantworten Claude Opus 5.5, GPT-6 Astra und GPT-6.1 Sol am 27. Oktober 2026 rund jede fünfte Frage falsch. Wir haben das Paper zu den Ursachen, die aktuellen Messreihen, Gerichtsentscheidungen und die Dokus der Hersteller gelesen und zeigen, woran du Halluzinationen erkennst und mit welchem Prüfprozess du sie im Betrieb abfängst.

Die ältere Startseite von ChatGPT nannte unter „Limitations“ als ersten Punkt: „May occasionally generate incorrect information“. Foto: Matheus Bertelli auf Pexels

Was eine KI-Halluzination ist

Eine Halluzination ist eine Aussage, die ein Sprachmodell flüssig und mit voller Überzeugung formuliert, die aber falsch ist oder sich durch keine Quelle stützen lässt. Die Kurzfassung steht auch in unserem KI-Glossar unter Halluzination. Das BSI beschreibt das Phänomen so: Modelle erfinden bei der Erzeugung ihrer Ausgaben Inhalte, „die weder Teil der Eingabe noch des Trainingsdatensatzes waren“. Die Bundesrechtsanwaltskammer spricht von Inhalten, die logisch erscheinen, jedoch faktisch falsch sind.

Die Forschung unterscheidet zwei Arten. Lei Huang und Kollegen trennen in ihrer Übersichtsarbeit Fehler gegenüber überprüfbaren Fakten der Welt, etwa ein falsches Gründungsjahr, von Abweichungen gegenüber dem, was du dem Modell gegeben hast: Die Zusammenfassung eines Vertrags nennt eine Kündigungsfrist, die im Vertrag gar nicht steht. Im Betrieb ist die zweite Art die tückischere, weil du dich bei einer Zusammenfassung auf das Dokument verlässt und es nicht noch einmal liest.

Drei weitere Fehler sehen für dich genauso aus, haben aber andere Ursachen:

• Veralteter Wissensstand. In der Studie der Europäischen Rundfunkunion (EBU) nannte ChatGPT im Mai 2025 noch Franziskus als amtierenden Papst, obwohl er im April gestorben war und Leo XIV. sein Nachfolger.
• Ein Lesefehler beim Erfassen eines Belegs, bei dem aus einer 1 eine 7 wird, entsteht in der Texterkennung. Erfunden hat das Modell dabei nichts.
• Das falsche Dokument: Eine Wissensbasis zieht die alte Preisliste statt der neuen, und die Antwort gibt die falsche Quelle korrekt wieder.

Alle drei enden in einer falschen Aussage im sicheren Ton, deshalb fängt derselbe Prüfprozess sie ab. Ein KI-Detektor hilft dabei nicht weiter. Er schätzt nur, ob ein Text maschinell entstanden ist (welche Detektoren taugen). Ob die Fakten darin stimmen, zeigt allein der Abgleich mit der Quelle.

Warum KI halluziniert: Raten wird belohnt

Die bisher klarste Erklärung steht im Paper „Why Language Models Hallucinate“ von Adam Tauman Kalai, Ofir Nachum, Santosh S. Vempala und Edwin Zhang. Es erschien am 4. September 2025 als Preprint, OpenAI stellte es einen Tag später in seinem Blog vor. Die Kernthese der Autoren: Sprachmodelle halluzinieren, weil Training und Bewertung das Raten höher belohnen als das Eingeständnis von Unsicherheit. Dahinter stecken zwei Schritte.

Im Vortraining lernt ein Modell, wie Texte weitergehen. Die Autoren zeigen, dass Halluzinationen dabei als gewöhnliche Fehler einer Ja-Nein-Entscheidung entstehen: Kann ein Modell eine falsche Aussage nicht sicher von einer richtigen unterscheiden, erzeugt es auch falsche. Was einem erkennbaren Muster folgt, lernt ein Modell gut. Willkürliche Einzelfakten wie der Geburtstag einer bestimmten Person folgen keinem Muster. Kommen 20 Prozent der Geburtstage in den Trainingsdaten nur ein einziges Mal vor, halluziniert ein Basismodell nach der Rechnung der Autoren bei mindestens 20 Prozent der Geburtstagsfragen. Genau diese Art Fakt steckt in Geschäftstexten überall: Aktenzeichen, Normnummern, Ansprechpartner, Preise.

In der Bewertung wird das Raten dann belohnt. Die meisten Benchmarks kennen nur richtig oder falsch. Wer bei einem unbekannten Geburtstag ein Datum rät, liegt immerhin mit einer Wahrscheinlichkeit von etwa 1 zu 365 richtig, wer „weiß ich nicht“ sagt, bekommt sicher null Punkte. Unter binärer Bewertung, so die Autoren, ist Enthaltung nie die beste Strategie, und ein Modell, das bei Unsicherheit rät, steht in den Ranglisten besser da als eines, das Unsicherheit zugibt. Wie sich das auswirkt, zeigt eine Messung aus der System Card zu GPT-5 vom August 2025:

Quelle: OpenAI, GPT-5 System Card, Tabelle 8 (Genauigkeit und Halluzinationsrate bei SimpleQA ohne Websuche); „keine Antwort“ ist der Rest zu 100 Prozent, eigene Rechnung.

Das ältere o4-mini liegt bei der Trefferquote zwei Punkte vorn und gibt fast dreimal so viele falsche Antworten. In einer Rangliste, die nur Treffer zählt, gewinnt das Modell, auf das du dich weniger verlassen kannst. Es sind Modelle von 2025, die Tabelle zeigt den Mechanismus, keinen aktuellen Stand.

Daraus folgt ein Vorschlag, den die Autoren ausdrücklich machen: die Schwelle in die Anweisung schreiben. Ihr Muster lautet sinngemäß: Antworte nur, wenn du dir zu mehr als 90 Prozent sicher bist, denn ein Fehler kostet 9 Punkte, eine richtige Antwort bringt 1 Punkt und „weiß ich nicht“ 0 Punkte. Unvermeidbar sind Halluzinationen nach dem Paper nur für Basismodelle. Ein fertig trainiertes Modell kann sich enthalten, dann sinkt die Fehlerrate, und es beantwortet weniger Fragen.

Wie oft KI halluziniert: Messwerte vom Oktober 2026

Eine einzelne Halluzinationsquote „von ChatGPT“ gibt es nicht. Wie oft ein Modell danebenliegt, hängt an der Aufgabe, und die zwei wichtigsten unabhängigen Messreihen prüfen Verschiedenes. AA-Omniscience von Artificial Analysis stellt 6.000 Wissensfragen aus 42 Themen, von Wirtschaft und Recht bis Gesundheit und Softwareentwicklung. Falsche Antworten ziehen Punkte ab, Nichtwissen kostet nichts. Das Hallucination Leaderboard von Vectara lässt die Modelle mehr als 7.700 mitgelieferte Artikel zusammenfassen, und zwar nur mit den Fakten aus dem Text. Das Bewertungsmodell HHEM-2.3 prüft danach, ob die Zusammenfassung etwas behauptet, das dort nicht steht.

Quellen: Artificial Analysis, AA-Omniscience, abgerufen am 27. Oktober 2026; Vectara Hallucination Leaderboard, Stand 22. Oktober 2026. „Falsch“ ist der Anteil falscher Antworten an allen Fragen, eigene Rechnung aus Genauigkeit und Omniscience-Index; Werte gerundet.

Zwei Spalten werden oft verwechselt. Die Halluzinationsrate von Artificial Analysis teilt die falschen Antworten durch alle nicht richtigen, also falsche, teilweise richtige und unbeantwortete zusammen. Sie misst, wie oft ein Modell rät, wenn es die Antwort nicht weiß. Bei Claude Opus 5.5 sind das 58,6 Prozent. Gemessen an allen Fragen ist bei Opus 5.5 rund jede fünfte Antwort falsch.

Das genaueste Modell ist dabei nicht das vorsichtigste. Claude Fable 5.1 beantwortet die meisten Fragen richtig, rät unter den Modellen der Tabelle aber auch am häufigsten, wenn es nichts weiß. Gemini 4 Argon hat unter den Spitzenmodellen mit 15,1 Prozent die niedrigste Halluzinationsrate, weil es nur auf 61 Prozent der Fragen überhaupt antwortet. Wie weit das tragen kann, zeigt das Kleinmodell MiniCPM5-1B: 1 Prozent Halluzinationsrate bei 0,1 Prozent richtigen Antworten. Eine niedrige Halluzinationsrate allein sagt also wenig, du brauchst sie zusammen mit der Trefferquote. Für die Modellwahl nach Aufgabe haben wir eine eigene Übersicht, welche KI für welche Aufgabe taugt.

Bei Vectara dreht sich die Reihenfolge: Gemini 4 Argon weicht beim Zusammenfassen in 12,1 Prozent der Fälle vom Text ab, GPT-6 Sol in 6,5 Prozent. Über alle 111 gelisteten Modelle reicht die Spanne von 1,8 bis 24,2 Prozent. Vectara nennt die Messung selbst einen guten Anhaltspunkt für Systeme, die Suchergebnisse oder Dokumente zusammenfassen, also für Wissensbasen und Agenten. Für den Büroalltag ist sie deshalb oft näher dran als der Wissenstest.

In Fachgebieten liegen die Raten höher. Für juristische Fragen hat eine Gruppe aus Stanford zwei Messungen veröffentlicht. Allgemeine Sprachmodelle halluzinierten bei überprüfbaren Fragen zu zufällig ausgewählten US-Bundesgerichtsfällen in 58 Prozent (ChatGPT 4) bis 88 Prozent (Llama 2) der Fälle. Spezialisierte Recherchewerkzeuge von LexisNexis und Thomson Reuters, die auf eine juristische Datenbank zugreifen, lagen bei 17 bis 33 Prozent. Beides sind Modelle und Werkzeuge der Jahre 2023 und 2024. Die Größenordnung zeigt trotzdem, wo du am gründlichsten prüfen musst.

Auch bei Nachrichten ist die Quote hoch. In der Studie der EBU mit 22 öffentlich-rechtlichen Medienhäusern aus 18 Ländern hatten 45 Prozent der Antworten von ChatGPT, Copilot, Gemini und Perplexity mindestens ein erhebliches Problem. Getestet wurden die kostenlosen Versionen im Mai und Juni 2025. Am häufigsten waren Probleme mit den Quellen (31 Prozent der Antworten), danach Ungenauigkeiten (20 Prozent).

Fünf Annahmen, die sich nicht halten

„Temperatur 0 verhindert Halluzinationen.“ Die Temperatur steuert, wie stark ein Modell bei der Wortwahl streut. Vectara misst, soweit das Modell es zulässt, bei Temperatur 0 und findet trotzdem Raten zwischen 1,8 und 24,2 Prozent. Ein Modell, das einen Fakt nicht kennt, gibt ihn auch bei Temperatur 0 falsch wieder, die Antwort streut dann nur weniger. Ganz gleich bleibt sie laut Anthropic selbst bei Temperatur 0 nicht.

„Eine eigene Wissensbasis beseitigt das Problem.“ Sie senkt es. Die juristischen Werkzeuge aus der Stanford-Studie arbeiten genau so und lagen bei 17 bis 33 Prozent. Kalai und Kollegen schreiben, dass ihre Beobachtungen auch für Modelle mit Suchanbindung gelten. Das BSI warnt zusätzlich: Angreifer können manipulierte Inhalte in eine Wissensbasis einschleusen, die das Modell dann wiedergibt.

„Bessere Trainingsdaten lösen es.“ Nach Kalai und Kollegen entstehen Fehler auch dann, wenn die Trainingsdaten fehlerfrei sind, weil das Lernziel selbst sie hervorbringt.

„Ein guter Prompt verhindert Halluzinationen.“ Ein Prompt mit Quellenpflicht und der Erlaubnis zum Nichtwissen senkt die Rate. Anthropic schreibt in seiner Doku, schon die Erlaubnis zum „Ich weiß es nicht“ könne falsche Informationen drastisch verringern. Dieselbe Doku hält fest, dass die Techniken Halluzinationen nicht vollständig beseitigen.

„Neuere Modelle halluzinieren nicht mehr.“ Sie sind besser geworden. Bei der ersten Veröffentlichung von AA-Omniscience im November 2025 erreichte das beste Modell, Claude 4.1 Opus, einen Index von 4,8, heute führt Claude Opus 5.5 mit 46. Der Vergleich ist nur grob, weil Artificial Analysis seitdem die Bewertung umgestellt hat. Und auch das führende Modell beantwortet jede fünfte Frage falsch.

Beispiele: was erfundene Fakten kosten

Die Datenbank von Damien Charlotin zählt am 27. Oktober 2026 weltweit 2.225 Gerichts- und Schiedsentscheidungen, in denen KI-halluzinierte Inhalte festgestellt oder vermutet wurden, 11 davon aus Deutschland. Vier Fälle zeigen, wo das Risiko für Unternehmen liegt. Eine Einordnung weiterer Risiken findest du in unserem Beitrag, welche KI-Risiken dein Unternehmen heute betreffen.

Bundesarbeitsgericht, 30. September 2026 (2 AZN 339/26). Die Begründung einer Nichtzulassungsbeschwerde zitierte vier Entscheidungen, die es nicht gibt, und schrieb drei weiteren einen falschen Inhalt zu. Das Gericht verwarf die Beschwerde als unzulässig. Die falschen Zitate wären bei einer gewissenhaften anwaltlichen Prüfung „auf jeden Fall aufgefallen“, der Anwalt habe den Schriftsatz also nicht geprüft. Dabei verweist das BAG auf die Hinweise der Bundesrechtsanwaltskammer, nach denen KI-Ergebnisse in jedem Fall eigenverantwortlich zu prüfen sind.

Amtsgericht Köln, 2. Juli 2025 (312 F 130/25). In einem Familienverfahren nannte ein Anwalt Voraussetzungen und Fundstellen, die laut Gericht „offenbar mittels künstlicher Intelligenz generiert und frei erfunden“ waren. Das Gericht forderte ihn auf, solche Ausführungen künftig zu unterlassen, und verwies auf § 43a Abs. 3 BRAO.

Air Canada, 14. Februar 2024 (2024 BCCRT 149). Der Chatbot der Airline sagte einem Kunden, er könne den Trauerfall-Tarif binnen 90 Tagen nachträglich beantragen. Die eigene Tarifseite schloss das aus. Air Canadas Verteidigung lief nach Lesart des Civil Resolution Tribunal in British Columbia darauf hinaus, der Chatbot sei für seine Aussagen selbst verantwortlich. Das Tribunal hielt dagegen: Das Unternehmen sei für alle Informationen auf seiner Website verantwortlich, ob sie von einer statischen Seite oder von einem Chatbot stammen. Air Canada musste 812,02 kanadische Dollar zahlen.

Mata v. Avianca, 22. Juni 2023. Ein New Yorker Bundesgericht verhängte 5.000 US-Dollar gegen zwei Anwälte und ihre Kanzlei, die sechs von ChatGPT erfundene Urteile eingereicht hatten. Der Richter hielt fest, dass der Einsatz eines verlässlichen KI-Werkzeugs nicht grundsätzlich unzulässig ist. Für die Richtigkeit der Schriftsätze bleiben aber die Anwälte verantwortlich.

In allen vier Fällen kamen die falschen Angaben aus einem Chatbot oder, nach Einschätzung der Gerichte, aus einer KI, und die Folgen trug, wer sie verwendet hat. In den drei Gerichtsfällen hätte ein Abgleich der Fundstellen mit der Quelle die Fehler gezeigt, bei Air Canada ein Abgleich der Chatbot-Antwort mit der eigenen Tarifseite.

Woran du Halluzinationen erkennst

Halluzinationen fallen beim Lesen selten auf, weil sie im selben Ton daherkommen wie richtige Aussagen. Das BSI beschreibt genau das als Kern des Problems:

„Zudem stellen Halluzinationen im Kontext von LLMs ein großes Problem dar, da die generierten Ausgaben zumeist glaubhaft erscheinen, insbesondere, wenn auf wissenschaftliche Publikationen oder andere Referenzen verwiesen wird, welche selbst frei erfunden sein können.“

— BSI, Generative KI-Modelle: Chancen und Risiken für Industrie und Behörden, Version 2.0 (17. Januar 2025)

Auf diese Stellen schaust du besonders genau:

• Präzise Details ohne Quelle: ein Prozentwert mit Nachkommastelle, ein Aktenzeichen, ein Paragraf mit Absatz und Satz, eine Studie mit Autorennamen.
• Wörtliche Zitate. Ein Sprachmodell gibt einen Satz nur dann verlässlich wieder, wenn der Text im Gespräch vorliegt.
• Jeder Link wird angeklickt. Führt er ins Leere oder auf eine Seite, auf der die Aussage nicht steht, ist die Quelle erfunden oder falsch zugeordnet. In unserer Prüfung von 214 Quellenangaben führte weniger als die Hälfte auf eine Primärquelle.
• Bei Code gehören Paketnamen dazu. Das BSI warnt, dass Angreifer Schadsoftware unter genau den Namen bereitstellen, die ein Modell häufig erfindet.
• Eine Zusammenfassung mit Details, die dir neu vorkommen: Steht die Kündigungsfrist wirklich im Vertrag?

Ein schneller Test: Stell dieselbe Frage in einem neuen Chat noch einmal. Weichen die Antworten bei einem Fakt voneinander ab, rät das Modell. Anthropic empfiehlt dieses Vorgehen als Best-of-N-Prüfung, und die Forschung nutzt dasselbe Prinzip. Sebastian Farquhar und Kollegen haben 2024 in Nature gezeigt, dass sich ein Teil der Halluzinationen erkennen lässt, wenn man mehrere Antworten auf ihre Bedeutung vergleicht. Eine gleichbleibende Antwort beweist umgekehrt nichts. Das Modell selbst zu fragen, ob es sicher ist, bringt wenig: Matthew Dahl und Kollegen fanden, dass Sprachmodelle oft nicht wissen, wann sie juristische Fakten erfinden.

Die Risikoampel: welche Aufgabe wie geprüft wird

Wie gründlich du prüfst, richtet sich am besten nach dem Mechanismus aus dem Paper: Seltene Einzelfakten sind am anfälligsten. Das Umformulieren eines Textes, den du selbst geliefert hast, stufen wir als geringstes Risiko ein. Daraus ergibt sich unsere Einordnung.

So fängst du Halluzinationen im Betrieb ab

Nichtwissen erlauben, Quellen verlangen

Schreib in jede Arbeitsanweisung und jeden System-Prompt zwei Regeln: Was das Modell nicht sicher weiß, markiert es als „nicht belegt“, und jede Zahl, jedes Datum und jedes Zitat bekommt eine Fundstelle. Anthropic nennt die Erlaubnis zum Nichtwissen in seiner Doku zur Reduktion von Halluzinationen an erster Stelle. Bei langen Dokumenten lässt du das Modell zuerst die wörtlichen Belegstellen heraussuchen und erst dann antworten. Findet es zu einer Aussage kein Zitat, nimmt es die Aussage zurück. Weitere Techniken für gute Anweisungen stehen in unseren sieben Prompt-Techniken für Unternehmer.

Dem Modell deine Unterlagen geben

Ein Modell, das aus deinen Dokumenten antwortet, muss weniger aus dem Gedächtnis rekonstruieren. Der einfache Weg ist, Firmenwissen in einem Claude-Projekt zu hinterlegen, der technische eine eigene KI-Wissensdatenbank mit RAG. Weise das Modell an, nur Informationen aus den bereitgestellten Dokumenten zu nutzen, auch das empfiehlt Anthropic. Über die Programmierschnittstelle liefert die Citations-Funktion von Claude zu jeder Aussage die genaue Belegstelle, und die Verweise zeigen laut Anthropic garantiert auf gültige Stellen in deinen Dokumenten. Google bietet für Gemini die Anbindung an die Google-Suche mit Quellenangaben, OpenAI liefert bei der Websuche Quellen mit Link direkt im Text. Ein Verweis zeigt dir, woher eine Aussage stammen soll. Ob der Text dort die Aussage trägt, liest du bei roten Aufgaben selbst nach.

Zahlen im führenden System nachschlagen

Preise, Lieferzeiten, Kundendaten und Vertragsfristen haben in deinem Betrieb eine verbindliche Quelle: das ERP, das CRM oder die Vertragsdatenbank. Jede Zahl aus einer KI-Ausgabe, die nach außen geht, schlägst du dort nach. Das ist der schnellste Faktencheck, weil die Antwort schon im Haus liegt. Rechne mit dem Aufwand: Ein Angebot mit 20 Zahlen und Fristen kostet bei zwei Minuten je Nachschlagen 40 Minuten Prüfung.

Vier Augen und klare Rollen

Bei roten Aufgaben ist die Person, die die KI bedient, nicht die letzte, die draufschaut. Leg fest, wer erstellt, wer fachlich prüft und wer freigibt, und halte das in der KI-Richtlinie fest. OpenAI empfiehlt in seiner Entwicklerdoku, Ausgaben möglichst von einem Menschen prüfen zu lassen, bevor sie verwendet werden, besonders in Bereichen mit hohem Risiko; die Prüfer brauchen dafür Zugriff auf die Originalquellen. Microsoft schreibt in den Unterlagen zu Copilot, Nutzer sollten die Antworten prüfen und verifizieren. Das BSI nennt die Gefahr dahinter Automation Bias: Wer einem Werkzeug zu sehr vertraut, übernimmt Ausgaben ungeprüft.

Die eigene Fehlerquote messen

Wir prüfen in der Redaktion selbst nach diesem Muster, die Grundsätze dazu stehen in unserer KI-Richtlinie für das Magazin. Vor jedem neuen Artikel öffnen drei voneinander unabhängige, KI-gestützte Prüfdurchläufe für jede Zahl, jedes Datum und jedes Zitat die Primärquelle; was nicht mindestens zwei bestätigen, wird korrigiert oder gestrichen. Beim Artikel zu Gemini 4 Argon am 14. Oktober 2026 mussten so 3 von 145 Aussagen korrigiert werden, beim Artikel zur lokalen KI am 22. Oktober 10 von 225, dazu kamen 5 Umformulierungen. Das sind zwischen 2 und gut 4 Prozent der Aussagen, obwohl die Recherche schon mit Quellenpflicht lief. Führ für deine roten Aufgaben eine einfache Liste mit zwei Spalten: wie viele Aussagen geprüft, wie viele falsch. Nach einem Monat weißt du, wo die Vollprüfung sich lohnt und wo eine Stichprobe reicht.

Sonderfall Agenten

Bei einem KI-Agenten wird aus einem falschen Satz eine falsche Handlung. Anthropic dokumentiert in der System Card zu Claude Opus 5.5 sehr seltene Fälle aus der internen Überwachung, in weniger als 0,001 Prozent der Modellantworten anderer interner Versionen (Snapshots), in denen das Modell ohne erkennbaren Grund eine potenziell zerstörerische Aktion halluzinierte. In einem Fall erfand es die Nachricht eines anderen Agenten, die zum Löschen eines Speicherpfads aufforderte. Ein Agentenlauf besteht aus vielen einzelnen Modellantworten, das Risiko summiert sich also über jeden Schritt. Agenten, die Mails versenden, Daten löschen oder buchen, brauchen deshalb eine Freigabe vor der Handlung.

Was das Recht verlangt

Die KI-Verordnung der EU verpflichtet Anbieter und Betreiber von KI-Systemen seit dem 2. Februar 2025 zur KI-Kompetenz ihres Personals. Seit dem 27. Juli 2026 gilt dafür die Fassung der Änderungsverordnung (EU) 2026/1744: Unternehmen ergreifen Maßnahmen, um die Entwicklung der KI-Kompetenz zu unterstützen, ein bestimmtes Niveau müssen sie nicht garantieren. Die EU-Kommission nennt in ihren Fragen und Antworten zu Artikel 4 Halluzinationen ausdrücklich als Risiko, über das Beschäftigte Bescheid wissen sollten. Was das für den Nachweis heißt, steht in unserem Beitrag zur KI-Schulungspflicht nach Artikel 4.

Weitere Regeln setzen voraus, dass jemand prüft. Wer KI-Texte veröffentlicht, um die Öffentlichkeit über Angelegenheiten von öffentlichem Interesse zu informieren, muss das seit dem 2. August 2026 nach Art. 50 Abs. 4 offenlegen, es sei denn, die Texte wurden menschlich geprüft oder redaktionell kontrolliert und jemand trägt die redaktionelle Verantwortung. Für Hochrisiko-Systeme verlangt Art. 14, dass die Aufsichtspersonen in die Lage versetzt werden, sich des „Automatisierungsbias“ bewusst zu bleiben; diese Pflichten gelten nach der Änderung frühestens ab dem 2. Dezember 2027. Die Datenschutzkonferenz verlangt in ihrer Orientierungshilfe vom Mai 2024, Ergebnisse von KI-Anwendungen mit Personenbezug vor der Weiterverarbeitung auf Richtigkeit zu prüfen.

Das neue Produkthaftungsrecht soll ab dem 9. Dezember 2026 auch Software erfassen, der Bundestag hat das Gesetz am 8. Oktober 2026 beschlossen. Für reine Falschauskünfte ist es kaum gemacht: Informationen selbst sind nach Erwägungsgrund 13 der EU-Richtlinie kein Produkt, und Anspruch auf Ersatz haben nur natürliche Personen für Personenschäden sowie Schäden an privat genutzten Sachen und Daten. Ob und wie du für eine falsche KI-Auskunft an einen Kunden haftest, ist eine Frage des Einzelfalls. Diese Übersicht ersetzt keine Rechtsberatung.

Der erste Schritt für dein Unternehmen

Nimm dir die zehn KI-Aufgaben vor, die in deinem Team am häufigsten laufen, und ordne sie der Ampel zu. Für jede rote Aufgabe legst du fest, wer prüft und wogegen. Den Prompt-Baustein mit Quellenpflicht und Erlaubnis zum Nichtwissen kannst du noch heute in eure Vorlagen kopieren. Wenn du die Prüfroutine mit deinem Team an euren eigenen Aufgaben üben willst, machen wir das im KI-Workshop, und das zahlt zugleich auf die KI-Kompetenz nach Artikel 4 ein.

Arno Hoffrichter

Chief Technology Officer, Collective Brain GmbH · Hamburg

CTO bei Collective Brain. Verantwortlich für die technische Umsetzung von Web-Projekten und SEO-Architektur.

Beratung anfragen