KI-Governance im Mittelstand: Rollen, KI-Register und Freigaben ohne Bürokratie

KI-Governance, im Englischen AI Governance, legt fest, wer in deinem Unternehmen über KI-Werkzeuge entscheidet, welche Daten hineindürfen und auf welchem Weg ein neues Werkzeug freigegeben wird. Für einen Mittelständler genügen dafür drei Bausteine: benannte Rollen, ein KI-Register und ein Freigabeweg, der sich nach dem Risiko richtet. Wir haben die KI-Verordnung in der Fassung vom 27. Juli 2026, das deutsche Durchführungsgesetz, das Betriebsverfassungsgesetz und die Hinweise von EU-Kommission, Bundesnetzagentur und Datenschutzkonferenz ausgewertet und zeigen, was davon Pflicht ist und was Empfehlung.

Welche Anwendung sofort durchgeht und welche eine Prüfung braucht, lässt sich zuerst ganz analog an der Wand sortieren. Foto: Mikhail Nilov auf Pexels

Was KI-Governance ist und was sie von Compliance unterscheidet

Governance beschreibt, wie eine Organisation gesteuert und überwacht wird: wer entscheidet, nach welchen Regeln, wer kontrolliert und wer dafür geradesteht. KI-Governance überträgt das auf den Einsatz von KI und beantwortet im Alltag vier Fragen. Wer darf ein KI-Werkzeug einführen? Welche Daten dürfen hinein? Wer prüft, was herauskommt? Und wo steht das alles, damit es in einem halben Jahr noch jemand nachvollziehen kann?

Compliance ist ein Teil davon. Sie fragt, ob ihr die Regeln einhaltet, die Gesetze und Verträge vorgeben, etwa die DSGVO oder die Offenlegungspflichten der KI-Verordnung. Governance setzt eine Ebene höher an. Sie legt fest, wer solche Fragen entscheidet, welche Risiken das Unternehmen bewusst eingeht und wie Regeln entstehen, überwacht und geändert werden. In Konzernen heißt das Gespann aus Governance, Risikomanagement und Compliance GRC.

Oft wird KI-Governance mit der KI-Richtlinie gleichgesetzt. Die Richtlinie ist das Dokument, in dem die Regeln für die Beschäftigten stehen: welche Werkzeuge erlaubt sind, welche Daten tabu, wer was freigibt. Was darin stehen muss, haben wir im Beitrag zur KI-Richtlinie für Unternehmen aufgeschlüsselt. Dieser Artikel klärt, was um das Dokument herum passiert: wer entscheidet, wie das KI-Register aussieht und welchen Weg ein neues Werkzeug bis zur Freigabe nimmt.

Was die Gesetze verlangen und was nicht

Die KI-Verordnung (EU) 2024/1689 unterscheidet Anbieter, die ein KI-System entwickeln und unter eigenem Namen in Verkehr bringen, von Betreibern, die es nutzen. Betreiber ist nach Artikel 3 Nummer 4, wer ein KI-System „in eigener Verantwortung verwendet“, solange es nicht um eine persönliche, nicht berufliche Tätigkeit geht. Eine Größenschwelle gibt es nicht. Sobald deine Vertriebsleiterin ein Sprachmodell für Angebotstexte nutzt, ist dein Unternehmen Betreiber. Das betrifft inzwischen die Mehrheit: Laut einer Bitkom-Umfrage unter 603 Unternehmen ab 20 Beschäftigten, veröffentlicht am 14. September 2026, setzen 57 Prozent KI ein, ein Jahr zuvor waren es 36 Prozent. Als Anwender vom AI Act betroffen sehen sich 37 Prozent.

Am 27. Juli 2026 ist die Verordnung (EU) 2026/1744 in Kraft getreten, der Digital Omnibus zur KI. Sie hat Fristen verschoben und Artikel 4 neu gefasst. Seitdem ergreifen Anbieter und Betreiber Maßnahmen, „um die Entwicklung der KI-Kompetenz ihres Personals“ zu unterstützen; ein bestimmtes Kompetenzniveau müssen sie nicht mehr garantieren. Die Pflichten für Hochrisiko-Systeme nach Anhang III gelten erst ab dem 2. Dezember 2027, für Systeme nach Anhang I ab dem 2. August 2028. Alle Termine im Detail stehen in unserem Beitrag zu den Fristen nach dem Digital Omnibus. Für deine Governance sind diese Regeln wichtig:

Quellen: KI-Verordnung in der Fassung der Verordnung (EU) 2026/1744, DSGVO (Bußgeldrahmen nach Art. 83 Abs. 4). Bei Unternehmen gilt jeweils der höhere der beiden Werte; für KMU gilt bei den Bußgeldern der KI-Verordnung der niedrigere (Art. 99 Abs. 6), für kleine Midcaps bei Art. 99 Abs. 4 und 5 ebenso (Art. 99 Abs. 6a).

Die Datenschutzkonferenz rechnet damit, dass eine Datenschutz-Folgenabschätzung beim Einsatz von KI-Anwendungen „vielfach“ nötig sein wird. Und Artikel 4 steht zwar in keinem Bußgeldkatalog, weder in Artikel 99 der KI-Verordnung noch im deutschen KI-MIG. Die Bundesnetzagentur weist aber darauf hin, dass ein Mangel an KI-Kompetenz als Verletzung der Sorgfaltspflicht angesehen werden kann, und empfiehlt, die Maßnahmen gut zu dokumentieren. Was dafür in die Akte gehört, steht im Beitrag zur KI-Schulungspflicht nach Artikel 4.

Ein Satz aus Artikel 99 zeigt, warum sich Ordnung auch bei einem Verstoß auszahlt. Bei der Bemessung einer Geldbuße berücksichtigt die Behörde nach Absatz 7 Buchstabe g den „Grad an Verantwortung des Akteurs unter Berücksichtigung der von ihm ergriffenen technischen und organisatorischen Maßnahmen“. Ein gepflegtes Register und ein dokumentierter Freigabeweg sind genau solche Maßnahmen. Einen Verstoß verhindern sie nicht automatisch, bei der Bemessung zählen sie aber mit.

Zuständig für die Marktüberwachung ist in Deutschland seit dem 29. Juli 2026 die Bundesnetzagentur, soweit das KI-MIG nichts anderes bestimmt; für regulierte Finanztätigkeiten etwa ist die BaFin zuständig. Neben den Bußgeldern der Verordnung kennt das KI-MIG eigene Ordnungswidrigkeiten bis 50.000 Euro, zum Beispiel für eine fehlende Grundrechte-Folgenabschätzung. Die trifft allerdings nur öffentliche Stellen, private Erbringer öffentlicher Dienste sowie Betreiber von Systemen zur Kreditwürdigkeitsprüfung und zur Risikobewertung bei Lebens- und Krankenversicherungen. Veröffentlichte Bußgelder oder Verwarnungen der Bundesnetzagentur nach der KI-Verordnung haben wir bis zum 29. Oktober 2026 nicht gefunden. Wie die Aufsicht aufgebaut ist, beschreibt unser Beitrag zum KI-MIG und der Bundesnetzagentur.

Fünf Ratgeberseiten geprüft: der Rechtsstand fehlt überall

Für diesen Artikel haben wir am 29. Oktober 2026 die fünf bestplatzierten Seiten der Google-Suche nach „ki governance“ in Deutschland vollständig gelesen: drei Seiten von Software- und Plattformanbietern, eine Seite einer Prüfungs- und Beratungsgesellschaft und eine Seite einer Kanzlei.

Der Befund sagt wenig über die Beratung, die hinter diesen Seiten steht. Er zeigt, wie schnell Texte zu diesem Thema altern. Eine der Seiten trägt das Aktualisierungsdatum 28. August 2026, einen Monat nach der Änderung der Verordnung, und erwähnt sie nicht. Dazu kommt der Zuschnitt: Mehrere Seiten arbeiten mit Rollen wie einem Chief AI Officer oder einem eigenen KI-Gremium, was für einen Betrieb mit 80 Beschäftigten kaum passt. Prüf bei jeder Vorlage, die du übernimmst, welche Fassung der Verordnung sie zugrunde legt.

Die Rollen: wer entscheidet, wer prüft, wer gibt frei

Braucht dein Unternehmen einen KI-Beauftragten?

Gesetzlich nicht. Die EU-Kommission beantwortet die Frage in ihren Fragen und Antworten zur KI-Kompetenz ausdrücklich. Auf die Frage, ob es wie bei der DSGVO einen KI-Beauftragten brauche und ob ein KI-Gremium einzurichten sei, antwortet sie: Nein, für Artikel 4 sei keine bestimmte Governance-Struktur vorgeschrieben. Eine benannte Person brauchst du trotzdem, denn ohne sie pflegt niemand das Register und niemand nimmt Anträge an. Ob du sie KI-Beauftragte, KI-Koordination oder anders nennst, ist egal.

Die folgende Verteilung empfehlen wir für Betriebe zwischen 20 und 500 Beschäftigten. Sie kommt ohne neue Stellen aus.

Die Datenschutzkonferenz empfiehlt, Datenschutzbeauftragte stets einzubinden, wenn Entscheidungen über KI-Anwendungen vorbereitet oder getroffen werden. Die fachlich verantwortliche Person ist dabei die wichtigste Rolle im Alltag, weil sie entscheidet, wie gründlich die Ergebnisse eines Werkzeugs geprüft werden. Wie du das nach Risiko staffelst, zeigt unsere Risikoampel für KI-Aufgaben.

Für Hochrisiko-Systeme wird aus der Empfehlung ab dem 2. Dezember 2027 eine Pflicht. Artikel 26 Absatz 2 verlangt, dass Betreiber die menschliche Aufsicht natürlichen Personen übertragen, „die über die erforderliche Kompetenz, Ausbildung und Befugnis verfügen“. Die Kommission schreibt dazu, dass es dafür nicht reicht, sich auf die Betriebsanleitung zu verlassen. Wer bei euch ein solches System beaufsichtigen wird, sollte deshalb schon heute im Register stehen.

Das KI-Register: 13 Spalten, die reichen

Ein KI-Register, manche sagen KI-Inventar, ist eine Liste aller KI-Werkzeuge und KI-Funktionen, die im Unternehmen dienstlich laufen. Mit der EU-Datenbank für Hochrisiko-Systeme hat es nichts zu tun. Dort trägt nach Artikel 71 der Anbieter die Daten ein, und Betreiber registrieren sich nach Artikel 49 Absatz 3 nur, wenn sie Behörden, Organe oder Stellen der Union sind oder in deren Namen handeln. Weder die KI-Verordnung noch das KI-MIG schreiben privaten Unternehmen ein internes KI-Register vor.

Es ist aber der kürzeste Weg zu Nachweisen, die du ohnehin brauchst. Im Verzeichnis der Verarbeitungstätigkeiten nach Artikel 30 DSGVO muss jede Verarbeitung personenbezogener Daten auftauchen, also auch die, die über ein KI-Werkzeug läuft. Die Bundesnetzagentur empfiehlt, die Maßnahmen zur KI-Kompetenz zu dokumentieren, und dafür musst du wissen, wer mit welchem Werkzeug arbeitet. Und die Datenschutzkonferenz empfiehlt, vor dem Einsatz Zweck und Einsatzfeld festzulegen:

„Daher sollten klare interne Weisungen erteilt und dokumentiert werden, ob, unter welchen Voraussetzungen und zu welchen konkreten Zwecken welche KI-Anwendungen eingesetzt werden dürfen.“

— Datenschutzkonferenz, Orientierungshilfe Künstliche Intelligenz und Datenschutz (6. Mai 2024)

Diese Spalten decken alle drei Nachweise ab:

• Werkzeug und Anbieter: Produktname, Vertragspartner, Tarif. KI-Funktionen in Paketen, etwa im Office- oder CRM-Abo, bekommen eine eigene Zeile.
• Zweck: wofür das Werkzeug eingesetzt wird, in einem Satz.
• Fachlich verantwortliche Person: ein Name, kein Team.
• Nutzerkreis: Abteilungen und Zahl der Konten. Die Datenschutzkonferenz empfiehlt dienstliche Geräte und Konten statt privater Zugänge.
• Datenklassen: öffentlich, intern, vertraulich, personenbezogen. Welche Klasse in welches Werkzeug darf, legt die Richtlinie fest.
• Rolle nach KI-Verordnung: Betreiber oder Anbieter. Zum Anbieter wirst du nach Artikel 25 zum Beispiel, wenn du ein Hochrisiko-System mit deinem Namen versiehst oder den Zweck eines Systems so änderst, dass es hochriskant wird.
• Risikoklasse nach KI-Verordnung: verboten, hochriskant mit Nummer aus Anhang III, Offenlegungspflicht nach Artikel 50 oder keine besondere Pflicht. Dazu Datum und Grundlage der Einstufung.
• Vertrag und Auftragsverarbeitung: Vertragsdatum, AVV vorhanden oder nicht, Speicherort, ob Eingaben fürs Training genutzt werden.
• Datenschutz: Nummer im Verzeichnis der Verarbeitungstätigkeiten, Folgenabschätzung nötig oder nicht.
• Betriebsrat: unterrichtet am, Betriebsvereinbarung vorhanden oder nicht.
• Freigabe: Stufe (grün, gelb, rot), wer, wann.
• Schulung: wer für dieses Werkzeug geschult wurde und wann.
• Nächste Prüfung: Datum der Wiedervorlage.

Führ das Register am besten dort, wo auch dein Verzeichnis der Verarbeitungstätigkeiten liegt. Dann pflegst du Zweck und Datenkategorien nur einmal. Die Spalten Werkzeug, Nutzerkreis und Schulung sind zugleich die Systemliste deiner Schulungsakte. Für die Spalte Vertrag hilft unsere Übersicht zu den Klauseln im Vertrag mit deinem KI-Anbieter.

So sehen vier typische Zeilen aus, gekürzt auf die Spalten, die über die Freigabe entscheiden:

Die letzte Zeile zeigt, warum die Freigabestufe eine eigene Spalte braucht. Rechtlich ist der Bestell-Agent kein Hochrisiko-System, intern gehört er in die strengste Stufe, weil er handelt statt nur zu schreiben. Die dritte Zeile zeigt eine Falle bei Personalsoftware: Nach Artikel 6 Absatz 3 kann ein System aus Anhang III ausnahmsweise als nicht hochriskant gelten, etwa wenn es nur eine vorbereitende Aufgabe erledigt. Nimmt es aber ein Profiling natürlicher Personen vor, gilt es immer als hochriskant.

Für eine erste Einschätzung der Risikoklasse bietet der KI-Service-Desk der Bundesnetzagentur ein Online-Werkzeug an, den KI-Compliance-Kompass. Die Leitlinien der Kommission zur Hochrisiko-Einstufung, die nach Artikel 6 Absatz 5 bis zum 2. Februar 2026 kommen sollten, lagen am 29. Oktober 2026 nur als Entwurf vom 19. Mai 2026 vor. Die Kommission will die endgültige Fassung bis Ende 2026 annehmen. Trag deshalb in der Spalte Risikoklasse das Datum der Einstufung ein, damit du weißt, welche Zeilen du nach den finalen Leitlinien noch einmal anschauen musst.

Der Freigabeweg: drei Stufen nach Risiko

Ein Freigabeweg, der Wochen dauert, erzeugt Schatten-KI. In einer Bitkom-Umfrage unter 1.003 Personen ab 16 Jahren, veröffentlicht im April 2026, gaben 48 Prozent der Erwerbstätigen an, KI bei der Arbeit zu nutzen. 12 Prozent dieser Nutzer tun es, ohne dass der Arbeitgeber davon weiß. Die jüngsten Bitkom-Zahlen aus Sicht der Unternehmen stammen aus einer Befragung von 604 Unternehmen im Juli und August 2025, veröffentlicht im Oktober 2025. Damals waren private KI-Werkzeuge in 8 Prozent der Unternehmen weit verbreitet und in weiteren 17 Prozent in Einzelfällen im Einsatz, Regeln für den Einsatz von KI-Werkzeugen hatten 23 Prozent. Wer Schatten-KI vermeiden will, braucht deshalb vor allem einen schnellen Weg für die harmlosen Fälle.

Stufen und Bearbeitungsziele sind unsere Empfehlung, keine gesetzliche Vorgabe.

Der Weg selbst hat sechs Schritte, die bei Grün in wenigen Minuten erledigt sind:

1. Antrag auf einer Seite: Werkzeug, Zweck, Datenklassen, Nutzerkreis und gewünschter Start. Ein Formular im Intranet genügt.
2. Die KI-Koordination ordnet die Freigabestufe und die Risikoklasse nach der KI-Verordnung zu. Im Zweifel gilt die höhere Stufe.
3. Prüfung je nach Stufe: Vertrag und Auftragsverarbeitung, Datenschutz, IT-Sicherheit, bei Rot zusätzlich Folgenabschätzung und Betriebsrat.
4. Entscheidung mit Name und Datum, danach der Eintrag ins Register. Eine Ablehnung bekommt eine Begründung und, wenn möglich, eine Alternative von der Freigabeliste.
5. Vor dem Start lernen die Nutzer Zweck, Datenregeln und Prüfpflichten des Werkzeugs. Das Protokoll geht in die Schulungsakte.
6. Wiedervorlage: grün jährlich, gelb halbjährlich, rot vierteljährlich, außerdem immer dann, wenn der Anbieter Modell, Vertrag oder Speicherort ändert.

Die Freigabe von Texten hat einen rechtlichen Nebeneffekt. Wer KI-Texte veröffentlicht, um die Öffentlichkeit über Angelegenheiten von öffentlichem Interesse zu informieren, muss das seit dem 2. August 2026 nach Artikel 50 Absatz 4 offenlegen. Die Pflicht entfällt, wenn die Texte einer menschlichen Überprüfung oder redaktionellen Kontrolle unterzogen wurden und eine Person die redaktionelle Verantwortung trägt. Ein Freigabeschritt kann diese Bedingung erfüllen, wenn die freigebende Person den Text inhaltlich prüft. Die Leitlinien der Kommission zu Artikel 50 vom 20. Juli 2026 nennen den Faktencheck als Mindestanforderung; eine bloß formale oder flüchtige Freigabe reicht ausdrücklich nicht, und überarbeitet eine KI den Text nach der Freigabe noch wesentlich, entfällt die Ausnahme. Werbe- und Produkttexte zählen nach denselben Leitlinien in der Regel nicht zu Texten über Angelegenheiten von öffentlichem Interesse, solange sie keine Aussagen etwa zu Gesundheit, Verbrauchersicherheit oder Nachhaltigkeit enthalten.

Der Betriebsrat gehört an den Anfang

In Betrieben mit Betriebsrat verpflichtet § 90 Abs. 1 Nr. 3 BetrVG den Arbeitgeber, ihn rechtzeitig über die Planung von Arbeitsverfahren und Arbeitsabläufen „einschließlich des Einsatzes von Künstlicher Intelligenz“ zu unterrichten. Bei technischen Einrichtungen, die dazu bestimmt sind, Verhalten oder Leistung der Beschäftigten zu überwachen, hat er nach § 87 Abs. 1 Nr. 6 BetrVG ein Mitbestimmungsrecht. Muss er die Einführung oder Anwendung von KI beurteilen, gilt die Hinzuziehung eines Sachverständigen nach § 80 Abs. 3 BetrVG als erforderlich. Und bei Auswahlrichtlinien, etwa für Einstellungen, behält er seine Rechte nach § 95 Abs. 2a BetrVG auch dann, wenn KI beim Aufstellen der Richtlinien zum Einsatz kommt. Ab dem 2. Dezember 2027 kommt für Hochrisiko-Systeme am Arbeitsplatz Artikel 26 Absatz 7 der KI-Verordnung hinzu: Arbeitnehmervertreter und betroffene Beschäftigte sind vor dem Einsatz zu informieren.

Statt für jedes Werkzeug eine eigene Betriebsvereinbarung zu verhandeln, lohnt eine Rahmenvereinbarung, die den Freigabeweg selbst regelt: welche Stufen es gibt, wann der Betriebsrat beteiligt wird und welche Auswertungen von Nutzungsdaten ausgeschlossen sind. Dann läuft ein grünes Werkzeug ohne neue Verhandlung durch, und die Gespräche konzentrieren sich auf die roten Fälle. Mehr zur Mitbestimmung bei KI-Werkzeugen steht im Beitrag zur KI-Richtlinie.

Sonderfall KI-Agenten

Ein Agent, der selbst Mails verschickt, Bestellungen anlegt oder Daten ändert, gehört immer in die rote Stufe, auch dann, wenn die KI-Verordnung ihn nicht als hochriskant einstuft. Der Grund ist die Wirkung nach außen. Wie schnell Agenten über ihren Auftrag hinaus handeln können, zeigt der Test des britischen AI Security Institute. Für einen Agenten gehören deshalb vier Angaben zusätzlich ins Register: welche Systeme und Adressen er erreichen darf, unter welcher eigenen Kennung er arbeitet, welche Handlungen ein Mensch vorher bestätigt und wer ihn auf welchem Weg abschaltet.

ISO/IEC 42001 und andere Rahmenwerke: wann sie sich lohnen

ISO/IEC 42001 ist die erste internationale Managementsystem-Norm für KI. Sie erschien im Dezember 2023 und legt Anforderungen an ein KI-Managementsystem fest, das eine Organisation aufbaut, betreibt und laufend verbessert. Sie gilt laut IEC für jede Organisation, unabhängig von Größe, Art und Ausrichtung, die KI-basierte Produkte oder Dienste bereitstellt oder nutzt. Seit August 2026 gibt es die deutsche Fassung DIN EN ISO/IEC 42001. Zertifizieren lassen kann man sich auch: Die zusätzlichen Anforderungen an Stellen, die solche Managementsysteme auditieren und zertifizieren, regelt seit Juli 2025 ISO/IEC 42006.

Die KI-Verordnung schreibt keine Zertifizierung nach ISO/IEC 42001 vor. Für einen Mittelständler lohnt sie sich vor allem in zwei Fällen: wenn Kunden sie in Ausschreibungen verlangen, oder wenn ohnehin ein zertifiziertes Managementsystem für Qualität oder Informationssicherheit läuft, an das sich das KI-Managementsystem anhängen lässt. In allen anderen Fällen reicht es, die Gliederung der Norm als Prüfliste für die eigene Governance zu nutzen.

Frei abrufbar ist das AI Risk Management Framework des US-amerikanischen National Institute of Standards and Technology (NIST) vom 26. Januar 2023. Es ist zur freiwilligen Nutzung gedacht und richtet sich an Organisationen jeder Größe. Der Kern besteht aus vier Funktionen: Govern, Map, Measure und Manage. Govern ist als Querschnittsfunktion angelegt, die die anderen drei durchzieht. Die Bausteine dieses Artikels decken vor allem Govern und Map ab, also Zuständigkeiten und die Bestandsaufnahme.

Der Start in 30 Tagen

Eine KI-Governance für einen Mittelständler steht in einem Monat, wenn eine Person sie als Projekt treibt. So kann die Aufteilung aussehen:

Die Schulung in Woche vier ist zugleich deine Maßnahme nach Artikel 4. Wenn sie an den Werkzeugen aus dem Register ansetzt statt an allgemeinen KI-Grundlagen, passt der Nachweis zum tatsächlichen Einsatz. Unsere KI-Workshops arbeiten an euren echten Aufgaben und liefern ein Protokoll mit Datum, Themen und Teilnehmenden.

Der erste Schritt für dein Unternehmen

Leg diese Woche das Register an: eine Tabelle mit den 13 Spalten, eine Zeile für jedes KI-Werkzeug, das heute bei euch läuft, und in jeder Zeile ein Name. Danach siehst du, welche Werkzeuge niemand verantwortet und welche Zeile rot ist. Wenn du die Schulung für dein Team an euren eigenen Werkzeugen aufsetzen willst, sprich uns an. Diese Übersicht ersetzt keine Rechtsberatung.

Learoy Eichholz

Lead KI-Automation & Digitale Businessentwicklung, Collective Brain GmbH · Hamburg

Learoy Eichholz verantwortet bei Collective Brain die KI-Automation und die digitale Businessentwicklung. In 15 Jahren E-Commerce hat er Online-Geschäfte von innen kennengelernt, vom Shopsystem über Logistik und Daten bis zur Conversion. Diese Praxis bringt er heute in KI-gestützte Automatisierung ein: Er verzahnt Tools, Daten und Abläufe so, dass Mittelständler manuelle Arbeit abbauen und schneller wachsen. Sein Anspruch ist Automatisierung mit messbarem Geschäftseffekt statt Technik um der Technik willen.

Beratung anfragen