Lokale KI im Unternehmen: wann sie sich lohnt, welche Modelle und welche Hardware

Lokale KI heißt: Das Sprachmodell läuft auf einem Rechner oder Server in deinem Haus, und deine Eingaben gehen an keinen Cloud-Anbieter. Das hat einen Preis bei der Qualität. Im unabhängigen Index von Artificial Analysis kommt das beste offene Modell in Arbeitsplatzgröße, Qwen3.8 27B, am 22. Oktober 2026 auf 34 Punkte, das beste Cloud-Modell auf 58. Wir haben Modellkarten, Lizenztexte, Herstellerpreise und Gesetzestexte gelesen und zeigen, wann sich lokale KI trotzdem lohnt, welche Hardware sie braucht und was sie je Nutzer kostet.

Rechner im eigenen Büro: Auf einem Schreibtisch stehen Monitore, ein Laptop und ein Tower-PC. Foto: cottonbro studio auf Pexels

Was lokale KI ist und was nicht

Lokale KI ist ein Sprachmodell, das auf eigener Hardware läuft: auf einem Arbeitsplatzrechner, einem Mac oder einem Server im eigenen Rechenzentrum. Möglich machen das Modelle mit offenen Gewichten, die der Hersteller zum Download bereitstellt. Eingaben und Antworten verlassen das Firmennetz nicht, solange keine Cloud-Funktion eingeschaltet ist. Das BSI beschreibt den lokalen Betrieb in seinem Kriterienkatalog für die Bundesverwaltung als Betrieb eines KI-Modells in eigener Verantwortung auf eigener Hardware.

Artificial Analysis bewertet am 22. Oktober 2026 131 Modelle mit seinem Intelligence Index, 66 davon haben offene Gewichte, also rund die Hälfte. Zwei Dinge werden im Gespräch oft mit lokaler KI verwechselt:

• Offene Modelle bei einem Hoster. IONOS, STACKIT oder Scaleway betreiben dieselben Gewichte in ihren Rechenzentren und rechnen pro Token ab. Die Daten bleiben in Deutschland, Österreich oder Frankreich, verlassen aber dein Haus, und du brauchst einen Vertrag zur Auftragsverarbeitung.
• Lokale Programme mit Cloud-Anschluss. Ollama, ein verbreitetes Werkzeug für lokale Modelle, bietet seit September 2025 auch Cloud-Modelle an, die auf den Servern von Ollama rechnen. Laut eigener Doku stehen diese Rechner überwiegend in den USA.

Wann sich lokale KI lohnt: vier Wege im Vergleich

Bevor du Hardware kaufst, lohnt der Blick auf alle vier Wege, ein Sprachmodell im Unternehmen zu nutzen. Die Tabelle zeigt jeweils die stärkste verfügbare Option mit ihrem Wert im Intelligence Index von Artificial Analysis.

Welcher Weg passt, hängt an vier Fragen. Zuerst an den Daten: Öffentliche Texte, Marketing und Recherche gehören in einen Firmentarif, interne Dokumente ohne Personenbezug ebenso. Bei Kundendaten und Personalakten kommen ein Firmentarif mit geprüftem Drittlandtransfer, ein europäischer Hoster oder der eigene Rechner infrage. Konstruktionsdaten, die ein Kunde per Vertrag im Haus halten will, und alles mit Offline-Pflicht laufen lokal.

Dann an der Qualität, die eine Aufgabe braucht. Protokolle zusammenfassen, E-Mails sortieren und Fragen zu einem Handbuch beantworten ist einfacher als die Agenten- und Programmiertests, die im Index 50 Prozent ausmachen. Ob ein kleineres Modell dafür reicht, zeigt ein Test mit deinen Dokumenten. Für mehrstufige Agenten-Aufgaben und schwierigen Code zählt der Abstand zur Spitze. Beim Volumen kippt die Rechnung: Wer jede Nacht 5.000 Lieferscheine auslesen lässt, zahlt lokal keine Token. Und schließlich am Betrieb. Jemand muss Updates einspielen, Zugriffsrechte pflegen und die Maschine absichern, und dafür brauchst du intern oder bei einem Dienstleister Stunden im Monat.

Wie groß der Abstand zur Cloud ist

Artificial Analysis prüft Sprachmodelle mit denselben Testaufgaben und verdichtet sie im Intelligence Index, Version 4.3.2. Agenten-Aufgaben zählen darin 30 Prozent, Programmieren 20, naturwissenschaftliches Denken 20 und allgemeine Aufgaben 30 Prozent. Die Tabelle zeigt Modelle mit offenen Gewichten neben dem Spitzenreiter und dazu, was sie laut Hersteller oder Inferenz-Projekt an Hardware brauchen.

Die Tabelle zeigt zwei Abstände. Die besten offenen Modelle liegen 12 Punkte hinter Claude Opus 5.5 und brauchen Rechenzentrumstechnik, die sich ein Mittelständler selten in den Keller stellt. Die Klasse, die auf einen Arbeitsplatzrechner passt, liegt 24 Punkte zurück, und innerhalb dieser Klasse streuen die Werte stark. Qwen3.8 27B liegt 22 Punkte vor dem gut viermal so großen gpt-oss-120b. Wähl ein Modell für den Arbeitsplatzrechner deshalb nach aktuellen Messwerten aus, Parameterzahl und Bekanntheit des Herstellers sagen wenig.

Zu den Zahlen gehört Kleingedrucktes. Artificial Analysis misst je Denkstufe: Die 34 Punkte erreicht Qwen3.8 27B auf der höchsten Stufe, die mehr Rechenzeit kostet, ohne Denkphase sind es 20. Und der Index ist nach eigener Beschreibung eine Testreihe auf Englisch. Für deutsche Texte, Verträge und Kundenmails hilft nur der eigene Test, den wir unten beschreiben. Wie sich die Cloud-Modelle untereinander schlagen, steht in unserem Vergleich welche KI für welche Aufgabe die beste ist.

Lokale KI-Modelle: was im Oktober 2026 zur Auswahl steht

Die Auswahl ordnet sich am einfachsten nach dem Speicher, den du zur Verfügung hast.

Notebook oder PC mit bis zu 16 GB. Das kleinere gpt-oss-Modell von OpenAI, gpt-oss-20b, läuft laut Modellkarte in 16 GB Speicher. Googles Gemma 4 E4B braucht auf 4 Bit verdichtet 4,5 GB, Gemma 4 12B 6,7 GB. Im Index von Artificial Analysis liegen sie zwischen 9 und 14 Punkten, für Entwürfe und kurze Zusammenfassungen auf dem eigenen Rechner kann das reichen. Ein abgegrenzter Fall, der auf solcher Hardware gut funktioniert, ist die Meeting-Transkription komplett auf dem eigenen Rechner.

Arbeitsplatzrechner mit 24 bis 32 GB Grafikspeicher. Hier liegt die Klasse mit dem besten Verhältnis von Aufwand und Qualität: Qwen3.8 27B von Alibaba, Gemma 4 31B und Gemma 4 26B A4B von Google sowie Metas Muse Glimmer, das quantisiert auf eine 24-GB-Grafikkarte passt. Für Gemma 4 31B nennt Google 17,5 GB auf 4 Bit und 69,9 GB in voller 16-Bit-Präzision. Für Qwen3.8 27B gibt Alibaba keinen Speicherbedarf an, rechnerisch liegt das Modell in derselben Größenordnung wie Gemma 4 31B.

Systeme mit 96 bis 128 GB. Mit dieser Speichermenge laufen gpt-oss-120b, das laut OpenAI auf eine einzelne 80-GB-Karte passt, und Mistral Small 4 aus Frankreich mit 119 Milliarden Parametern. Beide sind Mixture-of-Experts-Modelle: Für jedes Token rechnet nur ein Teil, bei Mistral Small 4 sind es 6,5 Milliarden Parameter. Für den Speicher zählt trotzdem das ganze Modell. Hugging Face formuliert es so: Ein solches Modell antwortet schneller als ein gleich großes dichtes Modell, aber alle Parameter müssen in den Speicher geladen werden.

Server im Rechenzentrum. Die stärksten offenen Modelle sind für Rechenzentren gebaut. DeepSeek V4.1 Flash braucht laut vLLM-Projekt mindestens 614 GB Grafikspeicher, Muse Spark Open laut Meta mindestens 700 GB. Wie viel Technik hinter einem Billionen-Modell steckt, haben wir am Beispiel von Kimi K3 im Selbstbetrieb durchgerechnet. Der französische Anbieter Mistral hat die Gewichte von Mistral Large 4 für Ende Oktober angekündigt, am 22. Oktober lagen sie noch nicht vor.

Vorsicht bei Listen „selbst hostbarer“ Modelle: Muse Wonder und Muse Spark 1.3 von Meta sowie Mistral Large 4 Preview führt Artificial Analysis am 22. Oktober als proprietär, ihre Gewichte kannst du nicht herunterladen. Bei Qwen3.8 Max gilt das für die gehostete Fassung. Das zugrunde liegende Modell Qwen3.8-2.4T-A95B hat Alibaba mit offenen Gewichten unter eigener Lizenz veröffentlicht.

Welche Hardware lokale KI braucht

Den Speicherbedarf schätzt du mit einer Faustregel von Hugging Face: Ein Modell braucht in 16-Bit-Präzision rund 2 GB je Milliarde Parameter, auf 8 Bit verdichtet die Hälfte, auf 4 Bit ein Viertel. Für den Betrieb kommen laut Hugging Face bis zu 20 Prozent dazu, und der Zwischenspeicher für den Kontext wächst mit der Länge der Dokumente und der Zahl gleichzeitiger Anfragen. Ein Modell mit 30 Milliarden Parametern braucht auf 4 Bit also rund 15 GB plus Aufschlag. Ollama passt die voreingestellte Kontextlänge deshalb an den Grafikspeicher an: unter 24 GiB sind es 4k Token, ab 48 GiB 256k.

Für das Tempo zählt die Speicherbandbreite. Beim Schreiben der Antwort liest die Hardware für jedes Token die Gewichte aus dem Speicher, und NVIDIA beschreibt die Modellausführung als häufig durch die Speicherbandbreite begrenzt. Wie groß der Unterschied ausfällt, zeigt Metas Messung für Muse Glimmer: 74,9 Token je Sekunde auf einer RTX 5090 und 26,6 auf einem Apple M5 Max, jeweils ohne Zusatzbeschleuniger.

Die Apple-Preise stammen aus dem deutschen Apple Store und enthalten 19 Prozent Mehrwertsteuer, die Endsummen haben wir aus Grundpreis und Aufpreis im Konfigurator addiert. Die Option mit 512 GB für den M5 Ultra soll laut Apple ab Ende Oktober erhältlich sein. Auf der Produktseite der DGX Spark nennt NVIDIA keinen Preis. Den US-Listenpreis hat NVIDIA im Februar 2026 wegen knappen Speichers von 3.999 auf 4.699 US-Dollar angehoben. Speicher ist bei dieser Hardware der Kostentreiber, hol vor dem Kauf deshalb ein aktuelles Angebot ein.

Was lokale KI je Nutzer kostet

Die Cloud-Seite lässt sich auf den Preisseiten ablesen. Die Preise gelten je Nutzer und Monat, Anthropic, Microsoft, Google und Mistral nennen sie ohne Steuer.

Für die lokale Seite rechnen wir ein Beispiel mit einem Mac Studio M5 Max mit 128 GB. Der Kaufpreis von 6.189 Euro entspricht 5.201 Euro ohne Mehrwertsteuer, auf 36 Monate verteilt sind das rund 144 Euro im Monat. Apple gibt als höchste Dauerleistung des Mac Studio 480 Watt an. Selbst unter Volllast an 21 Arbeitstagen mit je 8 Stunden sind das knapp 81 Kilowattstunden, bei angenommenen 30 Cent je Kilowattstunde rund 24 Euro. Die größte Position ist die Betreuung: Bei angenommenen vier Stunden im Monat zu 80 Euro kommen 320 Euro hinzu.

Zusammen ergibt das rund 490 Euro im Monat. Bei 10 Nutzern sind das 49 Euro je Kopf, bei 20 Nutzern rund 24 Euro und bei 40 Nutzern rund 12 Euro. Ob ein Gerät 20 oder 40 Leute gleichzeitig bedient, hängt an Modell, Kontextlänge und Nutzungsmuster, das muss der Pilot zeigen. Die Einrichtung ist nicht eingerechnet.

Bei 20 Nutzern kostet der lokale Platz damit rund 24 Euro, Mistral Team 24,99 Euro, ChatGPT Business und Claude Team 20 bis 25 US-Dollar. Die Größenordnung ist dieselbe, das Modell auf dem Mac Studio erreicht aber 34 Indexpunkte statt 58. Über den Preis je Kopf gewinnt lokale KI selten. Sie gewinnt bei Stapelverarbeitung rund um die Uhr, für die keine Token anfallen, und bei Daten, für die es keine Cloud-Option gibt.

Dazwischen liegt der europäische Hoster, alle folgenden Preise ohne Steuer. IONOS berechnet für gpt-oss-120b 0,15 Euro je Million Eingabe-Token und 0,65 Euro je Million Ausgabe-Token, für Qwen3.8 27B 0,40 und 2,70 Euro, laut Doku findet die Verarbeitung in Deutschland statt. STACKIT nimmt für gpt-oss-120b 0,45 und 0,65 Euro und betreibt seine Regionen nur in Deutschland und Österreich. Scaleway in Paris bietet GLM-5.3, eines der drei stärksten offenen Modelle, für 1,80 Euro je Million Eingabe- und 5,50 Euro je Million Ausgabe-Token an, DeepSeek V4.1 Flash für 0,60 und 1,80 Euro. Wer die Spitzenklasse der offenen Modelle nutzen will, ohne Hunderte Gigabyte Grafikspeicher zu kaufen, mietet sie dort. Eine eigene Instanz mit einer H100-Grafikkarte kostet bei Scaleway 3,40 Euro je Stunde, im Monat rund 2.482 Euro. Welche europäischen Anbieter offene Modelle mit AVV betreiben, haben wir für Kimi K3 im Detail verglichen.

Lizenzen: was du mit offenen Gewichten darfst

Offene Gewichte heißen nicht automatisch freie Nutzung. Artificial Analysis markiert Modelle, deren kommerzielle Nutzung an Bedingungen hängt, eigens als eingeschränkt. Für ein Unternehmen, das ein Modell intern nutzt, sieht die Lage so aus:

Zwei Zeilen verdienen Aufmerksamkeit. Die Grenze bei Mistral Medium 3.5 trifft größere Mittelständler, denn 20 Millionen US-Dollar im Monat entsprechen rund 240 Millionen im Jahr. Und die Nutzungsrichtlinie von Muse Spark Open betrifft Industrieunternehmen, die ein Modell nah an Anlagen einsetzen wollen. Das alte Problem der Llama-Lizenz, nach der Unternehmen mit Hauptsitz in der EU die multimodalen Llama-4-Modelle nicht selbst nutzen durften, kennen Apache 2.0 und die Muse Model License nicht.

Datenschutz und KI-Verordnung: was lokal wegfällt und was bleibt

Läuft das Modell auf eigener Hardware und hat kein Dienstleister Zugriff, fallen zwei Prüfungen weg. Art. 28 DSGVO regelt die Verarbeitung im Auftrag eines Verantwortlichen, ohne Auftragsverarbeiter gibt es keinen Vertrag dazu. Und Art. 44 knüpft an die Übermittlung in ein Drittland an, die bei lokaler Verarbeitung nicht stattfindet. Das gilt auch für Modelle chinesischer Hersteller: Wer Qwen oder DeepSeek auf eigener Hardware betreibt, verarbeitet die Eingaben selbst, für den Betrieb ist keine Verbindung zum Hersteller nötig. Prüfen solltest du die Software drumherum, etwa ob ein Werkzeug Nutzungsdaten sendet. Bei der Kimi-App und der Moonshot-Schnittstelle gehen die Daten dagegen an den Anbieter.

Alles andere bleibt. Art. 32 verlangt Sicherheitsmaßnahmen, die dem Risiko angemessen sind, und diese Verantwortung liegt bei lokalem Betrieb ganz bei dir. Ob eine Datenschutz-Folgenabschätzung nach Art. 35 nötig ist, hängt am Risiko der Verarbeitung, der Standort der Maschine spielt dafür keine Rolle. Wartet ein IT-Dienstleister den Rechner aus der Ferne, kann er wieder Auftragsverarbeiter sein. Die übrigen Regeln zu Rechtsgrundlage, Löschfristen und Schulung haben wir für KI-Werkzeuge im Mittelstand zusammengestellt.

„Wenn ein KI-Modell lokal betrieben wird, MÜSSEN klassische IT-Sicherheitsmaßnahmen, z. B. wie sie in den Grundschutz Bausteinen ‚OPS.1.1.6 Software-Tests und -Freigaben‘ und ‚APP.6 Allgemeine Software‘ gefordert werden, ergriffen werden.“

— BSI, Kriterienkatalog des BSI zur Integration von extern bereitgestellten generativen KI-Modellen in eigene Anwendungen, Version 1.0 (Juni 2025)

Auch die KI-Verordnung gilt im eigenen Serverraum. Wer ein KI-System beruflich in eigener Verantwortung nutzt, ist nach Art. 3 Nr. 4 Betreiber, egal wo die Hardware steht. Die Ausnahme für Modelle unter freier und quelloffener Lizenz in Art. 53 Abs. 2 entlastet die Anbieter der Modelle. Für dich als Nutzer ändert sie nichts. Die Pflicht zur KI-Kompetenz aus Art. 4 gilt seit dem 2. Februar 2025 und wurde mit der Verordnung (EU) 2026/1744 neu gefasst: Seit dem 27. Juli 2026 müssen Betreiber Maßnahmen ergreifen, um die KI-Kompetenz ihres Personals zu unterstützen, ein bestimmtes Niveau müssen sie nicht garantieren. Setzt du ein lokales Modell für einen Hochrisiko-Zweck ein, etwa bei der Auswahl von Bewerbern, greifen die Pflichten für diese Systeme nach Anhang III ab dem 2. Dezember 2027.

Lokal heißt nicht automatisch offline

Die Werkzeuge für den lokalen Betrieb sind kostenlos, unterscheiden sich aber bei Lizenz und Cloud-Anschluss.

Für einen einzelnen Arbeitsplatz reichen Ollama oder LM Studio. Sollen 20 Leute auf ein Gerät zugreifen, gehört vLLM als Server dahinter und eine Oberfläche wie Open WebUI mit Rollen davor, damit die Personalabteilung andere Dokumente sieht als der Vertrieb.

So startest du einen Pilot in vier Wochen

Ein Pilot klärt die drei offenen Fragen dieses Artikels mit deinen eigenen Daten: ob die Qualität reicht, wie viele Nutzer ein Gerät trägt und wie viel Betreuung anfällt.

1. Woche eins: einen Vorgang auswählen, der heute Zeit kostet und vertrauliche Daten enthält, etwa die Erstprüfung eingehender Lieferantenverträge. Dazu 50 echte Fälle sammeln und für jeden notieren, wie das richtige Ergebnis aussieht.
2. In Woche zwei läuft Qwen3.8 27B oder Gemma 4 31B auf einem vorhandenen Rechner mit 24 GB Grafikspeicher oder auf einem gemieteten Gerät, mit abgeschalteter Cloud-Funktion.
3. Woche drei vergleicht: dieselben 50 Fälle durch das lokale Modell und durch einen Firmentarif mit Testdaten ohne Personenbezug. Gezählt wird, wie viele Ergebnisse ohne Nacharbeit stimmen.
4. Am Ende steht eine Entscheidung mit Zahlen. Reicht die Qualität, rechnest du Hardware und Betreuung wie oben, reicht sie nicht, bleibt der Firmentarif oder ein offenes Modell beim europäischen Hoster.

Ein offenes Modell im Haus hat einen weiteren Vorteil: Es läuft weiter, wenn ein Cloud-Anbieter Preise erhöht oder ein Modell abschaltet. Wie du ein offenes Modell als Rückfallebene neben der Cloud einplanst, haben wir separat beschrieben.

Der erste Schritt für dein Unternehmen

Schreib die drei Vorgänge auf, bei denen heute Daten im Spiel sind, die ihr keinem Cloud-Anbieter geben wollt, und schätze für jeden die Fälle pro Monat. Ist einer mit mehr als 100 Fällen dabei, lohnt sich aus unserer Sicht ein Pilot. Wenn du dabei Unterstützung willst, richten wir mit euch eine Automatisierung mit sauberem Datenschutz-Setup ein, lokal oder beim europäischen Hoster.

Justus Kornath

Marketing-Experte · Collective Brain GmbH

Justus Kornath ist Marketing-Experte bei Collective Brain. Unter seinem Label „justus marketing“ begleitet er seit über zwölf Jahren Solo-Selbstständige und Mittelständler im B2B-Marketing, von Strategie und SEO über Paid Advertising bis zu Video- und Funnel-Aufbau. Sein Motto: nicht Berater, sondern Macher. Aus Kiel.

LinkedIn Beratung anfragen