Die DeepSeek-V4-Preview, vor zwei Wochen auf arXiv veröffentlicht, ist keine Leaderboard-Geschichte. Sie ist eine Topologie-Geschichte. Die Headline-Zahl, die alle zitieren werden — 1,6 Billionen Parameter, 49 Milliarden aktiviert im Pro-Modell — ist die am wenigsten interessante Zeile im Abstract. Die lasttragende Zeile sitzt tiefer: In einem Million-Token-Kontext benötigt DeepSeek-V4-Pro nur 27% der Single-Token-Inference-FLOPs und 10% des KV-Cache seines V3.2-Vorgängers.

Lesen Sie das als Infrastruktur-Ingenieur, nicht als Benchmark-Leser. Der KV-Cache — der laufende Speicher von Attention-Keys und Values, den jeder generierte Token abfragen muss — ist die Warteschlange, die unter Last tatsächlich bricht. Sie wächst linear mit der Kontextlänge, sitzt im teuersten Speicher, den Sie besitzen, und ist der Grund, warum ein „Million-Token-Fenster” normalerweise eine Marketing-Decke bleibt, die niemand in Produktion erreicht. DeepSeeks Team greift es strukturell an: ein Hybrid aus Compressed Sparse Attention und Heavily Compressed Attention, unter Manifold-Constrained Hyper-Connections trainiert mit dem Muon-Optimizer über 32T Token. Essenz: Engineering einsetzen, um die Warteschlange zu verkleinern, statt mehr Speicher zu kaufen.

←HEUTE: Ein Million-Token-Kontext hört auf, eine Demo zu sein, und wird zum KV-Cache-Budget, das Sie sich tatsächlich leisten können. →3012: Das Büro, das über sein ganzes Projekt auf einmal nachdenkt — jedes Pset, jede SIA-Klausel, jedes RFI — nicht ein PDF nach dem anderen. Drehpunkt: Long-Context-Intelligenz war nie durch Attention-Mathematik begrenzt; sie war durch die Kosten des Erinnerns begrenzt, und diese Kosten sind gerade um das 10-fache gefallen.

Das ist, warum das auf Ihren Schreibtisch kommt und nicht nur auf ein GPU-Cluster. Der Grund, warum Ihr BIM-Koordinations-Assistent die Brandschutz-Entscheidung von vor drei Prompts vergisst, ist derselbe, warum DeepSeek-V3.2 bei Länge teuer wurde: Das Modell lässt entweder alten Kontext fallen oder zahlt volle Kosten, um ihn zu halten. PAZ hat die scharfe Seite davon schon abgedeckt — unsere Archiv-Notiz zu Anthropics März-2026-Cache-TTL-Regression, aus 119.866 protokollierten API-Aufrufen, zeigte einen 12,5×-Kostenmultiplikator, sobald ein gecachter Kontext ablief und erneut hochgeladen werden musste. Das ist die ganze Ökonomie von Long Context in einer Zahl. Billiger KV-Cache ist der Unterschied zwischen einem Assistenten, der Ihren Projektbrief tagsüber hält, und einem, der ihn mit Schreibrate jedes Mal neu lädt, wenn Sie Kaffee trinken.

Atelier: Für ein Büro, das AI-Koordination einführt, ist die Versuchung gross, das grösste beworbene Fenster zu jagen. Widerstehen Sie — das Fenster, das Sie warm halten können, zählt mehr als eines, das Sie bloss technisch öffnen können. Montag-Schritt: instrumentieren Sie eine echte Sitzung. Protokollieren Sie, wie viele Token Ihr Assistent pro Turn bei einer echten IFC-Übergabe tatsächlich erneut liest, und Sie werden die gleiche stille Warteschlange finden, die DeepSeek gerade optimiert hat. Messen Sie, bevor Sie den Kontext skalieren.

Der Trade-off bleibt auf dem Papier: Ein offener Checkpoint bei 1,6T Parametern ist nichts, das ein Büro selbst hostet, und „27% der FLOPs” eines sehr grossen Modells ist immer noch ein sehr grosses Modell. Effizienz hier bedeutet, dass die Frontier-Labs langen Kontext zu einem Preis anbieten können, der nicht zusammenbricht — nicht, dass die Rechenleistung verschwunden ist. Sie hat sich verlagert, und jemand bezahlt die Stromrechnung immer noch.

Hack: Berechnen Sie die Warteschlange selbst, bevor Sie jemandem trauen. Der KV-Cache ist die Abhängigkeit, die niemand ins Architektur-Diagramm zeichnet, also dimensionieren Sie ihn direkt — das ist, was „10% des KV-Cache” in Gigabyte bedeutet.

layers, kv_heads, head_dim, tokens, dtype = 61, 128, 128, 1_000_000, 2
full_gb = 2 * layers * kv_heads * head_dim * tokens * dtype / 1e9
print(f"full KV cache: {full_gb:.0f} GB")
print(f"at DeepSeek-V4's ~10%: {full_gb * 0.10:.0f} GB")

Führen Sie es aus, und die Abstraktion wird konkret: der Unterschied zwischen diesen zwei Zahlen ist der Unterschied zwischen einem Kontext, der auf Ihre Hardware passt, und einem, der nicht passt. Das ist die ganze Übung — finden Sie den dritten Single Point of Failure, den Sie nicht kannten, und hier ist es eine Memory-Queue mit der ganzen Projekthistorie darin. Zeichnen Sie Ihren echten Abhängigkeitsgraph, setzen Sie den KV-Cache dort ein, und entscheiden Sie, was Sie sich leisten können zu speichern, bevor der Hersteller es für Sie entscheidet.

Quelle: arXiv