Kimi K3 selbst hosten: was nach dem Open-Weights-Release wirklich geht

Moonshot AI hat die Modellgewichte von Kimi K3 frei veröffentlicht. Damit lässt sich eines der stärksten KI-Modelle der Welt erstmals außerhalb der Infrastruktur seines Herstellers betreiben. Klingt nach Freiheit, wirft aber sofort die praktische Frage auf: Wer kann ein Modell mit 2,8 Billionen Parametern überhaupt betreiben, und was davon ist für den Mittelstand realistisch? Eine nüchterne Anleitung.

Offene Gewichte heißen: Das Modell zieht bei dir ein. Die Frage ist nur, in welches Rack. Foto: panumas nikhomkhai auf Pexels

Was Moonshot veröffentlicht hat

Kimi K3 ist das im Juli 2026 vorgestellte Flaggschiff von Moonshot AI aus Peking: ein Mixture-of-Experts-Modell mit rund 2,8 Billionen Parametern, einem Kontextfenster von einer Million Token und dauerhaft aktivem Denkmodus. In unabhängigen Benchmarks spielt es auf Augenhöhe mit den besten geschlossenen Modellen aus den USA, die täglich aktualisierten Werte zeigt unser Kimi-K3-Guide und das AI Leaderboard.

Zwei Zahlen aus der offiziellen Modellkarte erklären, warum das Modell trotz seiner Größe überhaupt betreibbar ist. Von den 896 Experten im Modell rechnen pro Token nur 16 mit, das sind rund 104 Milliarden aktive Parameter statt 2,8 Billionen. Und Moonshot hat das Modell von der Feinabstimmung an im sparsamen MXFP4-Format trainiert, statt es hinterher zu komprimieren. Beides zusammen ist der Grund, warum die veröffentlichten Gewichte 1,56 Terabyte belegen und nicht das Mehrfache davon.

Mit der Veröffentlichung der Gewichte auf Hugging Face löst Moonshot das Versprechen ein, das die K-Serie von Anfang an begleitet hat: Das Modell selbst ist keine Blackbox hinter einer API, sondern eine Datei, die du herunterladen und betreiben kannst. Wie weit dieses Versprechen juristisch trägt, stand bei Erscheinen dieses Artikels noch offen. Inzwischen liegt der Lizenztext vor.

Die Lizenz: was der Mittelstand darf, und wo die Grenze liegt

Moonshot hat die Gewichte am 27. Juli 2026 nicht unter MIT oder Apache 2.0 gestellt, sondern unter eine eigene Kimi-K3-Lizenz. Artificial Analysis führt sie deshalb als „Commercial Use Restricted”. Das klingt nach Fußangel, betrifft aber einen Adressatenkreis, zu dem der deutsche Mittelstand nicht gehört. Über weite Strecken liest sich der Text wie die MIT-Lizenz: nutzen, kopieren, verändern, weitergeben, unterlizenzieren, verkaufen, das Modell betreiben, feinjustieren und Abkömmlinge daraus bauen, alles erlaubt.

Zwei Sonderregeln kommen hinzu. Die erste betrifft Model as a Service, also den Weiterverkauf von Inferenz- oder Feinabstimmungs-Zugängen an Dritte, bei denen diese echte Kontrolle über Eingaben, Parameter oder Trainingsdaten bekommen. Wer so ein Geschäft betreibt, braucht ab einer Umsatzschwelle eine separate Vereinbarung mit Moonshot. Die zweite ist eine Namensnennung: Kommerzielle Produkte mit mehr als 100 Millionen monatlich aktiven Nutzern oder mehr als 20 Millionen US-Dollar Monatsumsatz müssen „Kimi K3” sichtbar in der Oberfläche führen.

An dieser Umsatzschwelle haben wir in der Erstfassung selbst zu grob gelesen, deshalb hier die genaue Formulierung. Klausel 2 stellt auf den „aggregate revenue of the Licensee and its affiliates” über beliebige zwölf zusammenhängende Monate ab. Gemeint ist der gesamte Umsatz des Lizenznehmers samt verbundener Unternehmen, unabhängig davon, ob auch nur ein Euro davon mit Kimi K3 verdient wurde. Wer die Schwelle als Erfolgsbeteiligung am KI-Geschäft liest, unterschätzt sie deutlich.

Für ein Softwarehaus mit 4 Millionen Euro Umsatz bleibt die Grenze weit weg. Für eine kleine KI-Tochter, die zu einer Gruppe mit 40 Millionen Euro Umsatz gehört, ist sie am ersten Tag gerissen, weil die Muttergesellschaft mitzählt. Ob die Klausel überhaupt greift, entscheidet dabei ausschließlich die Frage, ob du Dritten Zugang zum Modell verkaufst. Genau deshalb lohnt es sich, diese beiden Prüfungen getrennt zu halten: erst das Geschäftsmodell, dann der Konzernumsatz.

„Neither condition applies to purely internal use, or to access through Moonshot’s own products and its certified inference partners.”

— Kimi K3 License, veröffentlicht am 27. Juli 2026

Wer allerdings selbst KI-Dienste verkauft und auf Kimi K3 als Motor setzt, rechnet die Schwelle über den Umsatz der gesamten Gruppe und liest den Lizenztext im Hugging-Face-Repository vor dem Produktivstart. Die kleineren Schwestermodelle K2.6 und K2.7 Code stehen weiterhin unter der freieren Modified-MIT-Lizenz und kennen diese Schwelle nicht.

Die Hardware-Realität: warum 2,8 Billionen Parameter kein Bastelprojekt sind

Bei einem Mixture-of-Experts-Modell rechnet pro Anfrage nur ein Bruchteil der Parameter mit, in diesem Fall 104 Milliarden von 2,8 Billionen. Das macht Kimi K3 im Betrieb effizienter, als die Gesamtzahl vermuten lässt. Am Speicherbedarf ändert es nichts: Alle Gewichte müssen geladen sein.

Hier ist die Erstfassung dieses Artikels zu pessimistisch gewesen. Wir hatten mit einem 8-Bit-Basisformat gerechnet und kamen so auf rund 2,8 Terabyte. Tatsächlich liefert Moonshot die Gewichte bereits im 4-Bit-nahen MXFP4-Format aus, die offizielle Ausgabe belegt daher 1,56 Terabyte. Zum Vergleich: Eine aktuelle Profi-GPU bringt je nach Modell 80 bis 192 Gigabyte mit.

Nüchtern gerechnet heißt das: Für das Vollmodell brauchst du je nach Kartengeneration einen gut bestückten Server mit acht Spitzen-GPUs oder rund zwanzig ältere Karten über mehrere Maschinen. Genau so betreiben es die ersten Anbieter auch, einer davon auf acht Karten der B300-Klasse. Das ist Infrastruktur, wie sie Inferenz-Anbieter und Cloud-Rechenzentren betreiben, nicht der Mittelstand. Wer dir erzählt, du könntest Kimi K3 nächste Woche auf einer einzelnen Workstation laufen lassen, meint entweder eine stark verkleinerte Variante oder hat die Zahlen nicht durchgerechnet.

Weg 1: Europäische Inferenz-Anbieter

Der praktikabelste Weg für Unternehmen. Bei Erscheinen dieses Artikels war das noch eine Erwartung, inzwischen ist es Realität: Innerhalb weniger Tage nach dem Release haben die ersten Anbieter mit europäischen Rechenzentren Kimi K3 ins Programm genommen. Nebius führt das Modell auf seiner Token Factory, daneben gibt es spezialisierte Anbieter, die es per vLLM auf acht GPUs der B300-Klasse in europäischen Rechenzentren betreiben, mit Preisen um 0,40 Euro je Million Eingabe-Token und 0,60 Euro je Million Ausgabe-Token, öffentlicher Unterauftragnehmer-Liste und Auftragsverarbeitungsvertrag. Du bekommst dieselbe Token-Abrechnung wie bei einer API, die Datenverarbeitung findet aber in Europa statt.

Damit löst sich das zentrale Problem der direkten Kimi-Nutzung auf. Auch hier haben wir in der Erstfassung zu pauschal formuliert: Moonshot betreibt für Kimi zwei getrennte Datenschutzerklärungen. Für den Chat auf kimi.com ist die Beijing Moonshot Technology Co., Ltd. verantwortlich, und dort steht die Speicherung innerhalb der Volksrepublik China ausdrücklich im Text. Für die Entwicklerplattform platform.kimi.ai zeichnet die MOONSHOT AI PTE. LTD. in Singapur, deren Erklärung Server in Singapur nennt und ein eigenes Kapitel für den Europäischen Wirtschaftsraum führt.

Am Ergebnis der Prüfung ändert diese Unterscheidung wenig, weil die EU-Kommission weder für China noch für Singapur einen Angemessenheitsbeschluss erlassen hat und beide Dokumente keine Standardvertragsklauseln benennen. Sie ändert allerdings das Argument, mit dem du in deinem Verarbeitungsverzeichnis arbeitest. Die Details dazu haben wir im Artikel zu Kimi K3 und der DSGVO auseinandergenommen. Für Experimente vertretbar, für Kundendaten nicht. Beim europäischen Inferenz-Anbieter sieht Moonshot dagegen keinen einzigen Prompt. Worauf du bei der Auswahl sonst noch achten solltest, steht in unserer Übersicht zu DSGVO-konformen KI-Tools.

Ein praktischer Hinweis zur Auswahl: Achte darauf, ob der Anbieter die Schnittstelle OpenAI-kompatibel anbietet. Dann tauschst du in bestehendem Code nur die Adresse und den Modellnamen aus, statt eine Anbindung neu zu bauen.

Praktisch heißt das für dein Team: Endpoint austauschen, Modellname anpassen, fertig. Wie du deine Systeme so baust, dass ein solcher Wechsel Routine statt Projekt ist, beschreibt unsere Anleitung zum KI-Modell-Routing.

Weg 2: Quantisierte Varianten

Quantisierung reduziert die Genauigkeit der gespeicherten Zahlen und damit den Speicherbedarf, auf Kosten eines messbaren Qualitätsverlusts. Diese verkleinerten Fassungen sind inzwischen da. Das Team hinter Unsloth hat sie im Anschluss an das Release veröffentlicht, mit dokumentierten Größen und gemessener Trefferquote:

Die Tabelle zeigt, wo die Grenze für den Mittelstand wirklich verläuft. Selbst die kleinste Fassung verlangt gut 600 Gigabyte Speicher, das ist ein voll bestückter Server und keine Workstation. Und der Qualitätsverlust ist auf der untersten Stufe kein Rundungsfehler: Von rund 79 Prozent Trefferquote auf 90 Prozent liegen drei Kompressionsstufen und rund 270 Gigabyte. Wer den Weg geht, sollte eher bei 2 Bit XL einsteigen als bei 1 Bit.

Dazu kommt ein Detail, das in Anleitungen gern untergeht: Für die verkleinerten Fassungen mit Bildverständnis brauchst du derzeit einen speziellen Abzweig von llama.cpp, nicht die Hauptversion. Das ist für ein Team mit Linux-Erfahrung machbar, kostet aber Zeit und bindet dich an ein Projekt, das sich schnell bewegt.

Für welche Aufgaben sich das lohnt, hängt vom Anspruch ab. Für Klassifizierung, Extraktion und Standardtexte reicht eine quantisierte Fassung fast immer. Für die schwersten Aufgaben, bei denen du Kimi K3 überhaupt willst, etwa komplexe Analysen und agentisches Arbeiten, solltest du die Qualität gegen das Original testen, bevor du produktiv gehst.

Weg 3: die kleineren Schwestermodelle als pragmatischer Einstieg

Häufig übersehen: Moonshots kleinere offene Modelle sind längst verfügbar, laufen auf deutlich bescheidenerer Hardware und stehen unter der freieren Modified-MIT-Lizenz ohne die Umsatzschwelle aus dem Lizenz-Abschnitt oben. Kimi K2.6 ist der Allrounder der Familie, mit einer Billion Parametern insgesamt und einem Kontextfenster von 256.000 Token. Für viele Automatisierungsaufgaben im Unternehmen reicht das mehr als aus.

Seit Juni gibt es daneben Kimi K2.7 Code, das direkt auf K2.6 aufsetzt und auf Programmierarbeit zugeschnitten ist. Auf Moonshots eigenem Code-Benchmark liegt es 21,8 Prozent über K2.6, bei agentischen Aufgaben rund 10 Prozent. Interessanter als die Benchmark-Punkte ist für Unternehmen ein anderer Wert: K2.7 Code kommt mit etwa 30 Prozent weniger Denk-Tokens aus als K2.6, was direkt auf die Rechnung durchschlägt. Moonshot positioniert es als Ergänzung, nicht als Nachfolger. Für Texte, Analysen und Dialog bleibt K2.6 die Empfehlung, für Codegenerierung, Fehlersuche und Werkzeug-Aufrufe greifst du zu K2.7 Code.

Wer den Weg zu offenen Modellen gehen will, startet realistischerweise hier, sammelt Betriebserfahrung und skaliert dann auf K3 hoch, wenn Aufgaben und Volumen es rechtfertigen.

Die Kostenfrage: API, Anbieter oder eigenes Blech

Die Reihenfolge der Wirtschaftlichkeit ist bei offenen Modellen fast immer dieselbe. Bei kleinem und mittlerem Volumen gewinnt die Token-Abrechnung, ob bei Moonshot direkt oder beim europäischen Anbieter, weil du keine Hardware vorhältst, die nachts nichts tut. Eigene oder dedizierte gemietete Hardware lohnt sich erst, wenn dein Volumen die Auslastung trägt oder Datenschutz-Anforderungen alles andere ausschließen. Die Rechenlogik mit konkreten Formeln findest du in unserem Artikel zu den Token-Kosten im Unternehmen.

Es gibt allerdings einen Hebel, der oft übersehen wird und mehr bringt als jeder Anbieterwechsel: die Denkstufe. Moonshot hat für K3 drei Stufen dokumentiert, low, high und max, wobei max die Voreinstellung ist. Der Preis je Token ist in allen drei Stufen gleich. Die Rechnung entsteht also über die Menge der Tokens, die das Modell zum Nachdenken erzeugt. Und K3 ist auf der Voreinstellung gesprächig: Artificial Analysis brauchte für den Durchlauf des Intelligence-Index 130 Millionen Ausgabe-Tokens, der Median aller getesteten Modelle liegt bei 99 Millionen.

Was das kostet, siehst du erst an der Monatsrechnung. Was es bringt, lässt sich beziffern: Auf der Voreinstellung misst Artificial Analysis Ende Juli einen Intelligence-Index von 57, auf der niedrigsten Stufe 47. Für einen Teil der Aufgaben in einem Unternehmen, Klassifizierung, Extraktion, Zusammenfassungen, ist dieser Abstand belanglos, die Tokenmenge dagegen nicht. Setz die niedrige Stufe als Standard und heb sie nur für die Aufgaben an, bei denen du den Unterschied wirklich misst. Die tagesaktuellen Werte für alle Stufen stehen im Kimi-K3-Guide und im AI Leaderboard.

Strategisch ist der Preis aber nur die halbe Geschichte. Ein offenes Frontier-Modell im Portfolio bedeutet: Kein Anbieter kann dich mehr mit einer Preiserhöhung oder einer Abschaltung unter Druck setzen, weil es immer einen zweiten Weg gibt. Warum genau diese Absicherung für Unternehmen Pflicht ist, haben wir in der Multi-Provider-Strategie aufgeschrieben.

Einordnung: was du jetzt konkret tun solltest

Der billigste sinnvolle erste Schritt kostet dich einen Nachmittag: Leg bei einem europäischen Anbieter mit Auftragsverarbeitungsvertrag ein Konto an, häng deine bestehende Anbindung über die OpenAI-kompatible Adresse um und lass eine Aufgabe, die bei dir täglich anfällt, einmal auf der niedrigen Denkstufe gegen dein aktuelles Modell laufen. Danach hast du zwei Zahlen, die keine Benchmark-Tabelle dir liefert: was es bei deinen Daten taugt und was es bei deinem Volumen kostet.

Die Lizenzfrage kannst du dir sparen, solange du das Modell für eigene Prozesse einsetzt. Sie wird relevant, sobald du Dritten Zugang zum Modell verkaufst, und dann zählt der Umsatz deiner gesamten Unternehmensgruppe. Und widersteh dem Reflex, jetzt Hardware zu kaufen. Der Markt um offene Modelle bewegt sich gerade so schnell, dass Flexibilität mehr wert ist als ein eigenes Rack. Die täglich aktualisierten Werte behältst du im Kimi-K3-Guide im Blick.

Florian Wessling

CEO, Collective Brain GmbH · Hamburg

Florian Wessling ist CEO der Collective Brain GmbH in Hamburg und bringt seit über 15 Jahren Marken, Content-Strategie und KI-gestütztes Marketing in Mittelstand und Konzerne. Was Collective Brain verkauft, betreibt er zuerst selbst: Sechs eigene KI-Marken dienen als Testfeld, von der automatisierten Content-Pipeline bis zum täglich aktualisierten AI Leaderboard. Er ist eingetragener BAFA-Berater und führt mit Collective Brain eine Google-Partner-Agentur.

LinkedIn Beratung anfragen