Was K3 ist
Kimi K3 ist ein 2,8 Billionen Parameter Mixture-of-Experts (MoE) Modell. Es nutzt nicht alle diese Parameter gleichzeitig: Für jeden Token, den es verarbeitet, sind nur etwa 104 Milliarden aktiv. Es kann Bilder und Videos nativ sehen und bis zu 1 Million Token Kontext verarbeiten, was in etwa mehrere Romane oder eine ganze Codebasis auf einmal entspricht. Die vollständigen Modellgewichte werden offen veröffentlicht.
Die Schlagzeile ist Effizienz: Im Vergleich zu seinem Vorgänger K2 erreicht K3 etwa 2,5x mehr Fähigkeit pro Einheit Trainings-Compute, dank einer Reihe von Architektur- und Trainingsverbesserungen.
Wie die Architektur funktioniert
Das Design verbessert den Informationsfluss durch das Modell entlang drei Achsen:
1. Über die Sequenz (Hybrid Attention). Standard-Attention lässt jeden Token jeden anderen Token betrachten, was bei 1 Million Token sehr teuer wird. K3 nutzt stattdessen meist Kimi Delta Attention (KDA), das wie ein komprimierter laufender Speicher funktioniert: Anstatt die gesamte Vergangenheit neu zu lesen, hält es einen Zusammenfassungszustand, den es beim Lesen aktualisiert, mit einer pro-Kanal "Vergessens"-Steuerung, die entscheidet, was behalten und was verworfen wird. Alle vier Layer fügt es eine Gated MLA-Schicht ein, die vollständige globale Attention durchführt, sodass das Modell dennoch präzise Langstrecken-Erinnerung erhält, wo nötig. Drei günstige Layer plus ein teurer, wiederholt über die gesamte Tiefe. Ein kleiner technischer Fix (Begrenzung, wie schnell der Speicher verfallen kann) lässt die gesamte Berechnung auf den schnellen Matrix-Einheiten der GPU laufen, was einen vorherigen Engpass beseitigt.
2. Über die Tiefe (Attention Residuals). In einem normalen Transformer sieht jeder Layer nur die Ausgabe des direkt vorherigen Layers, sodass frühe Informationen zunehmend verwässert werden. K3 lässt jeden Layer zu allen Ausgaben früherer Layer-Gruppen "attendieren" und das auswählen, was er braucht, ähnlich wie Attention über Tokens funktioniert, aber angewendet über Layer. Um das günstig zu halten, sind die 93 Layer in 8 Blöcke gruppiert, und Layer attendieren auf Block-Level-Zusammenfassungen.
3. Über die Breite (Stable LatentMoE). Anstatt eines großen Feed-Forward-Netzwerks hat K3 896 spezialisierte "Expert"-Teilnetzwerke pro Layer, und jeder Token wird zu 16 davon geroutet, plus 2 immer aktive Shared Experts. Diese extreme Sparsamkeit ist es, woher die riesige Parameteranzahl kommt, ohne riesige Compute-Kosten. Zwei Probleme entstehen in diesem Maßstab: Interne Signale können numerisch explodieren, und einige Experten werden übermäßig genutzt, während andere verhungern. K3 behebt das Erste mit Normalisierung plus einer neuen Aktivierungsfunktion (SiTU-GLU), die sich wie das bewährte SwiGLU nahe Null verhält, aber für große Werte abflacht, anstatt unbegrenzt zu wachsen. Es behebt das Zweite mit Quantile Balancing, einer Routing-Methode, die direkt aus Score-Statistiken die Bias berechnet, die jeder Experte braucht, damit jeder Experte seinen fairen Anteil an Tokens erhält, anstatt Bias Schritt für Schritt langsam zu verschieben.
Vision (MoonViT-V2). Bilder und Videos durchlaufen einen kleinen (0,4B Parameter) Vision Transformer, dessen Ausgabe in denselben Backbone wie Text eingespeist wird. Ungewöhnlicherweise wird dieser Encoder von Grund auf zusammen mit dem Sprachmodell trainiert, anstatt von einem vortrainierten Encoder wie SigLIP zu starten. Das Team fand, dass der vortrainierte Start das Training instabil machte, und die von-Grund-auf-Version erreichte dieselben Benchmarks. Da alles in einem Token-Stream lebt, kann das Modell Code schreiben, einen Screenshot des Ergebnisses betrachten und es verfeinern, alles in einer Schleife.
Wie es trainiert wurde
- Pre-Training mischt Web-Text, Code, Mathematik, Wissensdokumente und einen großen Vision-Korpus, mit starker Filterung, Deduplizierung und Umformulierung von Wissenstext, um die Qualität zu verbessern.
- Die Kontextlänge wächst in Stufen: 8K, dann 64K während des Pre-Trainings, dann 256K bis 1M während der finalen "Cooldown"-Phase, sodass das teure Langsequenz-Training nur in einem kleinen Bruchteil des Gesamtbudgets stattfindet. Da K3 keine explizite Positionskodierung verwendet (Position ist implizit in KDAs Verfallmechanismus), extrapoliert es auf 1M Token ohne die üblichen RoPE-Rescaling-Tricks.
- Synthetische Langdokumente werden konstruiert, sodass Aufgaben nur durch Kombination von Informationen gelöst werden können, die über die gesamten Million Token verstreut sind, was das Modell zwingt, den langen Kontext tatsächlich zu nutzen, anstatt nur lokale Muster.
Post-Training: Ein Agent daraus machen
- SFT: Supervised Fine-Tuning auf einem großen Instruktionsdatensatz, einschließlich Agent-Trajektorien, die von früheren Kimi-Modellen synthetisiert und von Menschen verifiziert wurden.
- RL at scale: Reinforcement Learning über drei Domänen (allgemeines/Reasoning, allgemeine Agents, Coding Agents) auf drei Reasoning-Aufwandstufen (niedrig, hoch, maximal), was neun Spezialistenmodelle produziert. Umgebungen umfassen echte Coding-Aufgaben, Web-Recherche, Kernel-Optimierung und Web-Entwicklung, mit Episoden, die Hunderte oder Tausende von Tool-Aufrufen umfassen. Ein Budget-Mechanismus bestraft Antworten, die ein Token-Budget überschreiten, was die verschiedenen Aufwandstufen erzeugt. Für Aufgaben ohne überprüfbare Antwort bewertet ein agentischer Judge-Modell Ausgaben gegen eine selbstgeschriebene Rubrik, mit einer Verbositätsstrafe, damit das Modell nicht durch Geschwafel gewinnt.
- MOPD: Die neun Spezialisten werden über Multi-Teacher On-Policy Distillation wieder in ein Modell verschmolzen, wobei das einzelne Student-Modell lernt, Token für Token den jeweils relevanten Spezialisten-Lehrer zu matchen.
Deployment ist von Anfang an eingebacken: Expert-Gewichte werden während des Post-Trainings selbst auf 4-Bit (MXFP4) quantisiert, sodass das Modell nie einen Qualitätsabfall zwischen Training und Serving erlebt. Ein kleines "Draft"-Modell wird ebenfalls für Speculative Decoding feinabgestimmt, was die Generierung beschleunigt, indem der Draft Tokens vorschlägt, die das große Modell parallel verifiziert.
Infrastruktur
Das Training eines 2,8T-Modells und das Ausführen von Million-Token-RL erforderte ernsthafte Engineering-Arbeit: Custom GPU-Kernels für KDA, ein System namens MoonEP, das alle Experten perfekt lastbalanciert über Tausende von GPUs, und ein RL-Setup, bei dem lange Agent-Episoden pausiert, checkpointed und fortgesetzt werden können (einschließlich ihrer Sandbox-Umgebungen), sodass langsame Aufgaben das Training nicht blockieren.
Ergebnisse
Bei Coding-, Agent-, Browsing- und Vision-Benchmarks sitzt K3 an der Spitze oder nahe der Spitze des Open-Model-Feldes: Es hinkt den beiden stärksten proprietären Modellen (Claude Fable 5 und GPT-5.6 Sol) insgesamt noch hinterher, schlägt aber alles andere Getestete, einschließlich GPT-5.5 und Opus 4.8, und gewinnt bei mehreren Agent-Benchmarks wie BrowseComp und SWE-Marathon klar.
Die Ein-Satz-Version: K3 bringt Open-Source-Modelle zurück auf den "trainiere größer" Skalierungspfad mit einem 2,8T sparse MoE, das ein speichereffizientes Attention-Design, Deep-Layer-Informations-Shortcuts und ein stabilisiertes 896-Expert-Routing-System kombiniert, trainiert es dann für agentisches Verhalten über Million-Token-Kontexte und veröffentlicht das Ganze offen.
