Jedes Büro in Zürich füttert Dateien an ein Sprachmodell und wird verblüfft, was zurückkommt. Es zählt einen Kostenplan falsch. Es verbaut eine 22-stellige GlobalId zu etwas fast Richtigem. Es behauptet, eine lange Mengenaufstellung sei fertig, obwohl es das letzte Drittel stillschweigend gelöscht hat. Die Folklore — „KI ist schlecht in Mathe” — ist unfalsifizierbar und daher am Montag nutzlos. Es gibt einen echten Mechanismus darunter; wenn du ihn hast, wird die Folklore zur Technik.

Hier ist es und das ist die ganze Lektion: Ein Modell liest keine Zeichen. Es liest Tokens — Chunks geprägt vom Byte-Pair-Encoding-Algorithmus, gewählt für Verdichtung, nicht für Bedeutung. Alles andere in diesem Text folgt aus dieser einen Tatsache.

Wo der Token herkommt

Die klarste kostenlose Erklärung dazu ist Andrej Karpathys „Deep Dive into LLMs like ChatGPT” (5. Februar 2025, dreieinhalb Stunden, über neun Millionen Aufrufe). Karpathy — OpenAI-Gründer, später Teslas KI-Direktor, jetzt bei Eureka Labs — erläutert den Mechanismus von unten auf. Dass er diese Linie in dreieinhalb Stunden packt, die neun Millionen Menschen ansehen, ist selbst echte Technik; der Rahmen unten ist sein, die IFC-Zahlen sind unsere.

Text tritt als eindimensionale Sequenz aus endlichem Vokabular in ein Netz ein. Raw Bytes geben dir 256 Symbole und sehr lange Sequenzen. Byte-Pair-Encoding kürzt sie: Finde das häufigste benachbarte Paar, präge ein neues Symbol, schreibe jedes Vorkommen um, wiederhole. Jede Fusion handelt Vokabularumfang gegen Sequenzlänge ein — und Karpathy sagt deutlich: Sequenzlänge ist „eine sehr endliche und kostbare Ressource”. GPT-4s Vokabular hat 100.277 Symbole; die Nachfolger-Kodierung o200k_base trägt 200.019. Das Trainingskorpus in der Vorlesung, FineWeb, sind 15 Billionen Tokens aus 96 Common Crawl Snapshots — eine Pipeline mit Schwellen darin, keine Substanz.

Warum IFC nahe am Worst-Case liegt

Englische Prosa komprimiert schön, weil BPE „the building” eine Milliarde Mal gesehen hat. Koordinaten und GlobalIds sind quasi-zufällig; es gibt keine häufigen Paare zu fusionieren. Ich schrieb fünf IFC STEP-Zeilen von Hand und lief sie durch tiktoken 0.14.0 (o200k_base): 368 Zeichen wurden zu 158 Tokens — 2,33 Zeichen pro Token, durchschnittlich 31,6 Tokens pro Zeile. Ein Satz normaler Bürosprache kam auf 5,10 Zeichen pro Token. Das Format, das die Branche für Interoperabilität standardisiert hat, kostet ungefähr 2,2× mehr, um es einem Modell zu zeigen als normales Englisch. Das hat keiner den Architekten gesagt.

Hochgerechnet: 10.000 IFC-Zeilen ergeben etwa 316.000 Tokens; 100.000 Zeilen sind 3,16 Millionen. Ein 1-Millionen-Token-Context-Fenster — derzeit das Fenster für Claude Opus 5, Sonnet 5 und Fable 5.1 — fasst daher in der Grössenordnung von 30.000 IFC-Zeilen, ein Kleingebäude und nicht mehr. (Trage diese Ratio nicht zwischen Anbietern über: Anthropics eigene Docs setzen 1M Tokens auf etwa 2,5M Unicode-Zeichen auf ihrem Tokenizer, nicht OpenAIs.) Diese eine Zahl beantwortet: „Warum erstickt es bei meinem Modell”.

←HEUTE: Ein 1-Millionen-Token-Fenster fasst etwa 30.000 IFC-Zeilen — ein Kleingebäude, dann trunciert es lautlos.
→3012: Das Modell liest das Gebäude direkt; die Datei wird zum Fossil, das wir für es übersetzen.
Achse: Der Token ist heute die Kosteneinheit und morgen die Vergessenheitseinheit — zähle ihn, solange es zählt.

Warum es falsch zählt und nicht buchstabieren kann

Es gibt ein festes, kleines Berechnungsbudget pro Token — es wächst nicht, weil deine Frage schwerer wurde. Ein Modell, das sofort antworten muss, zwängt das Problem in einen Forward-Pass und rechtfertigt die Schätzung nachher. Bitte es zu zählen, und es schätzt eine Menge auf einen Blick. Karpathys Satz: Modelle brauchen Tokens zum Denken. Zwischenschritte ausschreiben verteilt dieselbe Berechnung über viele günstige Tokens. Rechtschreibung schlägt fehl aus demselben Grund plus Tokenisierung — das Modell sieht nie Buchstaben, nur Chunks. (Der schwebende „Ist 9,11 grösser als 9,9″-Fehler ist eine echte Anekdote über Unevenness, nicht ein Mechanismus — behandle ihn als solchen.)

Die tiefere Unterscheidung — und die für ein Büro tragbare: Gewichte sind vage Erinnerung an längst Gelesenes; das Context-Fenster ist Arbeitsspeicher, direkt vor dem Netz. Halluzination ist nicht Lügen — das Modell ahmt die sichere Gestalt jeder „Wer ist X”-Antwort nach, wenn es keine Erinnerung hat. Text pasten und es hört auf zu erinnern, beginnt zu lesen.

Das Werkzeug

Das Werkzeug: openai/tiktoken — MIT-lizenziert, 19.145 Sterne, aktiv gepflegt. Es ist der Encoder, den OpenAI in Produktion schickt, in einem Befehl installiert, und beantwortet die eine Frage deines Büros: Passt meine Datei, und was sieht das Modell? Karpathys karpathy/minbpe (MIT, 10.702 Sterne) ist der zweite Nachmittag — ruhend, stabil, vier lesbare Dateien, wo du siehst, wie Fusionen geprägt werden.

Einrichtung:

python -m venv .venv
.venvScriptspython.exe -m pip install tiktoken   # macOS/Linux: .venv/bin/python -m pip install tiktoken

# proof of life, straight from the tiktoken README:
import tiktoken
enc = tiktoken.get_encoding("o200k_base")
assert enc.decode(enc.encode("hello world")) == "hello world"

Erste Schritte:

1. Exportiere jeden Geschoss aus Archicad zu IFC — nenne es model.ifc neben deinem Skript.
2. Starte den Hack-Block unten. Du erhältst Zeichenanzahl, Token-Anzahl und die Aufteilung eines Klassennamens.
3. Ändere die Encoding-Zeile auf tiktoken.encoding_for_model("gpt-4") (das mapt zu cl100k_base) und wiederhole: das Verhältnis ändert sich kaum. Sag jedes Mal, welche Kodierung du benutzt hast, wenn du eine Zahl nennst.
4. Teile deine Token-Anzahl durch dein Context-Fenster. Wenn das Ergebnis über eins liegt, weisst du: es wird trunciert — bevor eine falsche Antwort dir das sagt.

Atelier: Für ein Zürcher Atelier, das ein Modell in seine Archicad-Automation drahtet, ist die Verschiebung kleiner als der Hype und grösser als ein Gimmick: Behandle das Context-Fenster als gezielt gefüllten Arbeitsspeicher, nicht als Suchkiste. Montags eine Bewegung: Hör auf zu fragen, was SIA 380/1 sagt — paste die Klausel. Erinnerung wird Lesen, die Antwort wird nicht mehr selbstsicher erfunden. Das ist auch der Grund, warum ein gegründeter Archicad-Copilot wie PAZGPT ein rohes Chat-Fenster schlägt: Er füttert dem Werkzeug den Arbeitsspeicher statt auf Erinnerung zu vertrauen.

Hack: Wiege dein IFC, bevor du es irgendwohin pastest. Lese die Datei mit errors="ignore", damit kein zufälliges Byte dich stoppt, drucke Zeichen gegen Tokens, teile einen Klassennamen auf und schaue genau hin.

import tiktoken
enc = tiktoken.encoding_for_model("gpt-4o")   # -> o200k_base
ifc = open("model.ifc", encoding="utf-8", errors="ignore").read()
print(len(ifc), "chars ->", len(enc.encode(ifc)), "tokens")
print([enc.decode([t]) for t in enc.encode("IFCWALLSTANDARDCASE")])

Diese Zeile druckt ['IF', 'CW', 'ALL', 'STANDARD', 'CASE'] — und das ist der ganze emotionale Punkt: Das Wort wall ist gar nicht da. Das Modell sah nie eine Wand — es sah fünf Chunks, gewählt um Common Crawl zu verdichten. Wenn du einen Count, eine Rechtschreibung, einen String-Slice oder Rechenwerk über einen Kostenplan brauchst, frage danach als Code, nicht als Antwort. Der Interpreter zählt; das Modell macht Copy-Paste.

Aus meinem Blick zurück: Die Büros, die schlecht alterten, lagerten Erinnerung an das je grösser werdende Context-Fenster eines Anbieters aus und vergassen, dass es nach Tokens vermietet ist. Context-Länge ist etwas, das jemand dir verkauft; eine GlobalId, die du noch im Editor liest, ist etwas, das du besitzt. Zähle den Token jetzt, und du behältst die Wahl später, welche Zukunft du ausbaust.

Lern-es:

• Das Werkzeug: github.com/openai/tiktoken — der Produktions-Encoder, README inklusive.
• Die Vorlesung: Karpathy — Deep Dive into LLMs like ChatGPT, Tokenisierung ab 07:47.
• Ohne Terminal: tiktokenizer.vercel.app — paste eine IFC-Zeile, sieh zu, wie sie sich teilt.
• Die lesbare Implementierung: github.com/karpathy/minbpe — BPE in vier Dateien, die du wirklich lesen kannst.
• Das Netz selbst: bbycroft.net/llm — Brendan Bycrofs 3D-Spaziergang durch die Schichten.
• Der Root-Standard: buildingSMART — Industry Foundation Classes, das Format, das wir gerade gewogen haben.