Kimi K3 selbst hosten: was nach dem Open-Weights-Release wirklich geht

Moonshot AI hat die Modellgewichte von Kimi K3 frei veröffentlicht. Damit lässt sich eines der stärksten KI-Modelle der Welt erstmals außerhalb der Infrastruktur seines Herstellers betreiben. Klingt nach Freiheit, wirft aber sofort die praktische Frage auf: Wer kann ein Modell mit 2,8 Billionen Parametern überhaupt betreiben, und was davon ist für den Mittelstand realistisch? Eine nüchterne Anleitung.

Offene Gewichte heißen: Das Modell zieht bei dir ein. Die Frage ist nur, in welches Rack. Foto: panumas nikhomkhai auf Pexels

Was Moonshot veröffentlicht hat

Kimi K3 ist das im Juli 2026 vorgestellte Flaggschiff von Moonshot AI aus Peking: ein Mixture-of-Experts-Modell mit rund 2,8 Billionen Parametern, einem Kontextfenster von einer Million Token und dauerhaft aktivem Denkmodus. In unabhängigen Benchmarks spielt es in derselben Liga wie die besten geschlossenen Modelle aus den USA. Konkret misst Artificial Analysis am 9. August 2026 einen Intelligence-Index von 60 für Kimi K3, 63 für Claude Opus 5 und 62 für Claude Fable 5. Drei Punkte Rückstand auf die Spitze, bei 6 US-Dollar je Million Token gegenüber 10 für Opus 5 und 20 für Fable 5. Der Unterschied, um den es in diesem Artikel geht, steht allerdings in keiner Benchmark-Spalte: Die Gewichte von Kimi K3 kannst du herunterladen, die der Claude-Modelle nicht. Die täglich aktualisierten Werte zeigt unser Kimi-K3-Guide und das AI Leaderboard.

Zwei Zahlen aus der offiziellen Modellkarte erklären, warum das Modell trotz seiner Größe überhaupt betreibbar ist. Von den 896 Experten im Modell rechnen pro Token nur 16 mit, das sind rund 104 Milliarden aktive Parameter statt 2,8 Billionen. Und Moonshot hat das Modell von der Feinabstimmung an im sparsamen MXFP4-Format trainiert, statt es hinterher zu komprimieren. Beides zusammen ist der Grund, warum die veröffentlichten Gewichte 1,56 Terabyte belegen und nicht das Mehrfache davon.

Mit der Veröffentlichung der Gewichte auf Hugging Face löst Moonshot das Versprechen ein, das die K-Serie von Anfang an begleitet hat: Das Modell selbst ist keine Blackbox hinter einer API, sondern eine Datei, die du herunterladen und betreiben kannst. Wie weit dieses Versprechen juristisch trägt, stand bei Erscheinen dieses Artikels noch offen. Inzwischen liegt der Lizenztext vor.

Die Lizenz: was der Mittelstand darf, und wo die Grenze liegt

Moonshot hat die Gewichte am 27. Juli 2026 nicht unter MIT oder Apache 2.0 gestellt, sondern unter eine eigene Kimi-K3-Lizenz. Artificial Analysis führt sie deshalb als „Commercial Use Restricted”. Das klingt nach Fußangel, betrifft aber einen Adressatenkreis, zu dem der deutsche Mittelstand nicht gehört. Über weite Strecken liest sich der Text wie die MIT-Lizenz: nutzen, kopieren, verändern, weitergeben, unterlizenzieren, verkaufen, das Modell betreiben, feinjustieren und Abkömmlinge daraus bauen, alles erlaubt.

Zwei Sonderregeln kommen hinzu. Die erste betrifft Model as a Service, also den Weiterverkauf von Inferenz- oder Feinabstimmungs-Zugängen an Dritte, bei denen diese echte Kontrolle über Eingaben, Parameter oder Trainingsdaten bekommen. Wer so ein Geschäft betreibt, braucht ab einer Umsatzschwelle eine separate Vereinbarung mit Moonshot, und diese Schwelle greift weiter, als die Zahl vermuten lässt. Der Lizenztext zählt den Umsatz des Lizenznehmers und seiner verbundenen Unternehmen zusammen, „in total over any consecutive 12 months”, ohne die Bedingung, dass dieser Umsatz aus Kimi K3 stammen muss. Eine kleine Tochtergesellschaft kann die Grenze von 20 Millionen US-Dollar damit über die Konzernmutter reißen, obwohl ihr eigenes KI-Geschäft weit darunter liegt. Die zweite Sonderregel ist eine Namensnennung: Kommerzielle Produkte mit mehr als 100 Millionen monatlich aktiven Nutzern oder mehr als 20 Millionen US-Dollar Monatsumsatz müssen „Kimi K3” sichtbar in der Oberfläche führen.

„Neither condition applies to purely internal use, or to access through Moonshot’s own products and its certified inference partners.”

— Kimi K3 License, veröffentlicht am 27. Juli 2026

Wer allerdings selbst KI-Dienste verkauft und auf Kimi K3 als Motor setzt, rechnet die Schwelle über den Gesamtumsatz der eigenen Unternehmensgruppe und liest den Lizenztext im Hugging-Face-Repository vor dem Produktivstart. Die kleineren Schwestermodelle K2.6 und K2.7 Code stehen weiterhin unter der freieren Modified-MIT-Lizenz und kennen diese Schwelle nicht.

Die Hardware-Realität: warum 2,8 Billionen Parameter kein Bastelprojekt sind

Bei einem Mixture-of-Experts-Modell rechnet pro Anfrage nur ein Bruchteil der Parameter mit, in diesem Fall 104 Milliarden von 2,8 Billionen. Das macht Kimi K3 im Betrieb effizienter, als die Gesamtzahl vermuten lässt. Am Speicherbedarf ändert es nichts: Alle Gewichte müssen geladen sein.

Hier ist die Erstfassung dieses Artikels zu pessimistisch gewesen. Wir hatten mit einem 8-Bit-Basisformat gerechnet und kamen so auf rund 2,8 Terabyte. Tatsächlich liefert Moonshot die Gewichte bereits im 4-Bit-nahen MXFP4-Format aus, die offizielle Ausgabe belegt daher 1,56 Terabyte. Zum Vergleich: Eine aktuelle Profi-GPU bringt je nach Modell 80 bis 192 Gigabyte mit.

Nüchtern gerechnet heißt das: Für das Vollmodell brauchst du je nach Kartengeneration einen gut bestückten Server mit acht Spitzen-GPUs oder rund zwanzig ältere Karten über mehrere Maschinen. Genau so betreiben es die ersten Anbieter auch, einer davon auf acht Karten der B300-Klasse. Das ist Infrastruktur, wie sie Inferenz-Anbieter und Cloud-Rechenzentren betreiben, nicht der Mittelstand. Wer dir erzählt, du könntest Kimi K3 nächste Woche auf einer einzelnen Workstation laufen lassen, meint entweder eine stark verkleinerte Variante oder hat die Zahlen nicht durchgerechnet.

Weg 1: Europäische Inferenz-Anbieter

Der praktikabelste Weg für Unternehmen. Bei Erscheinen dieses Artikels war das noch eine Erwartung, inzwischen ist es Realität: Innerhalb weniger Tage nach dem Release haben die ersten Anbieter mit europäischen Rechenzentren Kimi K3 ins Programm genommen. Nebius führt das Modell auf seiner Token Factory, daneben gibt es spezialisierte Anbieter, die es per vLLM auf acht GPUs der B300-Klasse in europäischen Rechenzentren betreiben, mit Preisen um 0,40 Euro je Million Eingabe-Token und 0,60 Euro je Million Ausgabe-Token, öffentlicher Unterauftragnehmer-Liste und Auftragsverarbeitungsvertrag. Du bekommst dieselbe Token-Abrechnung wie bei einer API, die Datenverarbeitung findet aber in Europa statt.

Damit löst sich das zentrale Problem der direkten Kimi-Nutzung auf. Dabei lohnt der genaue Blick darauf, welchen Zugang du meinst, denn Moonshot führt zwei getrennte Datenschutzerklärungen. Für den Chat auf kimi.com ist die Beijing Moonshot Technology Co., Ltd. verantwortlich, die eine Speicherung innerhalb der Volksrepublik China nennt. Für die Entwicklerplattform platform.kimi.ai zeichnet die MOONSHOT AI PTE. LTD. mit Servern in Singapur. Am Prüfergebnis ändert die Unterscheidung wenig, weil die EU-Kommission weder für China noch für Singapur einen Angemessenheitsbeschluss erlassen hat und beide Dokumente keine Standardvertragsklauseln benennen. Die ganze Prüfung mit Vertragslage und Alternativen steht in unserer Analyse zu Kimi K3 und der DSGVO. Beim europäischen Inferenz-Anbieter sieht Moonshot dagegen keinen einzigen Prompt, damit erledigt sich die Frage. Worauf du bei der Auswahl sonst noch achten solltest, steht in unserer Übersicht zu DSGVO-konformen KI-Tools.

Ein praktischer Hinweis zur Auswahl: Achte darauf, ob der Anbieter die Schnittstelle OpenAI-kompatibel anbietet. Dann tauschst du in bestehendem Code nur die Adresse und den Modellnamen aus, statt eine Anbindung neu zu bauen.

Praktisch heißt das für dein Team: Endpoint austauschen, Modellname anpassen, fertig. Wie du deine Systeme so baust, dass ein solcher Wechsel Routine statt Projekt ist, beschreibt unsere Anleitung zum KI-Modell-Routing.

Weg 2: Quantisierte Varianten

Quantisierung reduziert die Genauigkeit der gespeicherten Zahlen und damit den Speicherbedarf, auf Kosten eines messbaren Qualitätsverlusts. Diese verkleinerten Fassungen sind inzwischen da. Das Team hinter Unsloth hat sie im Anschluss an das Release veröffentlicht, mit dokumentierten Größen und gemessener Trefferquote:

Die Tabelle zeigt, wo die Grenze für den Mittelstand wirklich verläuft. Selbst die kleinste Fassung verlangt gut 600 Gigabyte Speicher, das ist ein voll bestückter Server und keine Workstation. Und der Qualitätsverlust ist auf der untersten Stufe kein Rundungsfehler: Von rund 79 Prozent Trefferquote auf 90 Prozent liegen zwei Kompressionsstufen und rund 270 Gigabyte. Wer den Weg geht, sollte eher bei 2 Bit XL einsteigen als bei 1 Bit.

Dazu kommt ein Detail, das in Anleitungen gern untergeht: Für die verkleinerten Fassungen mit Bildverständnis brauchst du derzeit einen speziellen Abzweig von llama.cpp, nicht die Hauptversion. Das ist für ein Team mit Linux-Erfahrung machbar, kostet aber Zeit und bindet dich an ein Projekt, das sich schnell bewegt.

Für welche Aufgaben sich das lohnt, hängt vom Anspruch ab. Für Klassifizierung, Extraktion und Standardtexte reicht eine quantisierte Fassung fast immer. Für die schwersten Aufgaben, bei denen du Kimi K3 überhaupt willst, etwa komplexe Analysen und agentisches Arbeiten, solltest du die Qualität gegen das Original testen, bevor du produktiv gehst.

Weg 3: die kleineren Schwestermodelle als pragmatischer Einstieg

Häufig übersehen: Moonshots kleinere offene Modelle sind längst verfügbar, laufen auf deutlich bescheidenerer Hardware und stehen unter der freieren Modified-MIT-Lizenz ohne die Umsatzschwelle aus dem Lizenz-Abschnitt oben. Kimi K2.6 ist der Allrounder der Familie, mit einer Billion Parametern insgesamt und einem Kontextfenster von 256.000 Token. Für viele Automatisierungsaufgaben im Unternehmen reicht das mehr als aus.

Seit Juni gibt es daneben Kimi K2.7 Code, das direkt auf K2.6 aufsetzt und auf Programmierarbeit zugeschnitten ist. Auf Moonshots eigenem Code-Benchmark liegt es 21,8 Prozent über K2.6, bei agentischen Aufgaben rund 10 Prozent. Interessanter als die Benchmark-Punkte ist für Unternehmen ein anderer Wert: K2.7 Code kommt mit etwa 30 Prozent weniger Denk-Tokens aus als K2.6, was direkt auf die Rechnung durchschlägt. Moonshot positioniert es als Ergänzung, nicht als Nachfolger. Für Texte, Analysen und Dialog bleibt K2.6 die Empfehlung, für Codegenerierung, Fehlersuche und Werkzeug-Aufrufe greifst du zu K2.7 Code.

Wer den Weg zu offenen Modellen gehen will, startet realistischerweise hier, sammelt Betriebserfahrung und skaliert dann auf K3 hoch, wenn Aufgaben und Volumen es rechtfertigen.

Die Kostenfrage: API, Anbieter oder eigenes Blech

Die Reihenfolge der Wirtschaftlichkeit ist bei offenen Modellen fast immer dieselbe. Bei kleinem und mittlerem Volumen gewinnt die Token-Abrechnung, ob bei Moonshot direkt oder beim europäischen Anbieter, weil du keine Hardware vorhältst, die nachts nichts tut. Eigene oder dedizierte gemietete Hardware lohnt sich erst, wenn dein Volumen die Auslastung trägt oder Datenschutz-Anforderungen alles andere ausschließen. Die Rechenlogik mit konkreten Formeln findest du in unserem Artikel zu den Token-Kosten im Unternehmen.

Es gibt allerdings einen Hebel, der oft übersehen wird und mehr bringt als jeder Anbieterwechsel: die Denkstufe. Moonshot hat für K3 drei Stufen dokumentiert, low, high und max, wobei max die Voreinstellung ist. Der Preis je Token ist in allen drei Stufen gleich. Die Rechnung entsteht also über die Menge der Tokens, die das Modell zum Nachdenken erzeugt. Und K3 ist auf der Voreinstellung gesprächig: Artificial Analysis brauchte für den Durchlauf des Intelligence-Index 130 Millionen Ausgabe-Tokens, der Median aller getesteten Modelle liegt bei 100 Millionen.

Wie groß dieser Hebel ausfällt, zeigt der Vergleich beider Stufen im selben Testdurchlauf. Auf der Voreinstellung erzeugt K3 die genannten 130 Millionen Ausgabe-Token, auf der niedrigsten Stufe 8,6 Millionen. Das ist ein Fünfzehntel der Menge für dieselbe Aufgabensammlung, und weil Denk-Token als Ausgabe abgerechnet werden, schlägt das nahezu eins zu eins auf die Rechnung durch.

Was du dafür an Qualität abgibst, lässt sich ebenfalls beziffern. Am 9. August 2026 misst Artificial Analysis einen Intelligence-Index von 60 auf der Voreinstellung und 48 auf der niedrigsten Stufe. Der Abstand ist seit dem Erscheinen dieses Artikels von zehn auf zwölf Punkte gewachsen, weil die Voreinstellung von 57 auf 60 zugelegt hat und die niedrige Stufe nur von 47 auf 48. Zwölf Punkte machen sich dort bemerkbar, wo mehrere Denkschritte aufeinander aufbauen, etwa bei komplexen Analysen und agentischem Arbeiten. Bei Klassifizierung, Feld-Extraktion und Zusammenfassungen fällt der Unterschied in der Praxis kaum auf, die Tokenmenge dagegen sehr wohl. Setz die niedrige Stufe für diese Aufgaben als Standard und heb sie gezielt für die an, bei denen du den Unterschied an deinen eigenen Daten misst. Wenn du die Werte in eine Entscheidungsvorlage übernimmst, schreib das Abrufdatum dazu: Sie haben sich innerhalb von zwei Wochen bewegt. Die tagesaktuellen Werte für alle Stufen stehen im Kimi-K3-Guide und im AI Leaderboard.

Strategisch ist der Preis aber nur die halbe Geschichte. Ein offenes Frontier-Modell im Portfolio bedeutet: Kein Anbieter kann dich mehr mit einer Preiserhöhung oder einer Abschaltung unter Druck setzen, weil es immer einen zweiten Weg gibt. Warum genau diese Absicherung für Unternehmen Pflicht ist, haben wir in der Multi-Provider-Strategie aufgeschrieben.

Einordnung: was du jetzt konkret tun solltest

Der billigste sinnvolle erste Schritt kostet dich einen Nachmittag: Leg bei einem europäischen Anbieter mit Auftragsverarbeitungsvertrag ein Konto an, häng deine bestehende Anbindung über die OpenAI-kompatible Adresse um und lass eine Aufgabe, die bei dir täglich anfällt, einmal auf der niedrigen Denkstufe gegen dein aktuelles Modell laufen. Danach hast du zwei Zahlen, die keine Benchmark-Tabelle dir liefert: was es bei deinen Daten taugt und was es bei deinem Volumen kostet.

Die Lizenzfrage kannst du dir sparen, solange du das Modell für eigene Prozesse einsetzt. Sie wird erst relevant, wenn du selbst KI-Dienste verkaufst. Und widersteh dem Reflex, jetzt Hardware zu kaufen. Der Markt um offene Modelle bewegt sich gerade so schnell, dass Flexibilität mehr wert ist als ein eigenes Rack. Die täglich aktualisierten Werte behältst du im Kimi-K3-Guide im Blick.

Fehlt im Haus jemand, der die Anbindung aufsetzt, den Auftragsverarbeitungsvertrag prüft und den Testlauf gegen euer aktuelles Modell auswertet, ist genau das der Punkt, an dem unsere KI-Umsetzung für den Mittelstand einsteigt.

Florian Wessling

CEO, Collective Brain GmbH · Hamburg

Florian Wessling ist CEO der Collective Brain GmbH in Hamburg und bringt seit über 15 Jahren Marken, Content-Strategie und KI-gestütztes Marketing in Mittelstand und Konzerne. Was Collective Brain verkauft, betreibt er zuerst selbst: Sechs eigene KI-Marken dienen als Testfeld, von der automatisierten Content-Pipeline bis zum täglich aktualisierten AI Leaderboard. Er ist eingetragener BAFA-Berater und führt mit Collective Brain eine Google-Partner-Agentur.

LinkedIn Beratung anfragen