Wenn du diese Dekade nur ein Stück Maschinenlern-Mathematik lernst, dann Attention. Nicht weil es Mode ist – weil es der Operator unter jedem Werkzeug ist, das gerade auf deinen Schreibtisch kommt: vom LLM, das deine Wettbewerbsnarrative schreibt, bis zur Scan-to-BIM-Pipeline, die einen Smartphone-Rundgang ins as-built verwandelt. Verstehe Attention einmal und die ganze 2026-KI-Landschaft ist keine Akronym-Wand mehr – sie ist eine Idee, wiederholt.

←HEUTE: Im Juni 2026 trägt die gleiche fünfzehnseitige Architektur von 2017 noch GPT-5, Claude, AlphaFold und den Point Transformer, den dein Scan-to-BIM-Anbieter still ausliefert. →3012: Bis zum Zurich-3012-Horizont ist “Attention über Token” so grundlegend für die Lesefähigkeit eines Designers wie das Skalarprodukt – gelehrt im ersten Jahr, nicht gejagt in einem Kurs. Fulcrum: Der Grund, warum ein Operator eine ganze Disziplin aufessen konnte, ist dass er Speicher durch parallele Suche ersetzt hat – und dieser Handel ist nur sichtbar, wenn man sieht, wo es herkommt und wohin es geht.

Was es ist: Attention ist eine Methode für ein Modell, jeden Teil eines Inputs jeden anderen Teil betrachten zu lassen und sofort zu entscheiden, was relevant ist. Jedes Input-Token x wird durch drei trainierte Matrizen in eine Query Q (“was suche ich?”), einen Key K (“was habe ich anzubieten?”) und einen Value V (“was trage ich?”) transformiert. Die Ausgabe für ein Token ist eine gewichtete Summe aller Values, wobei jedes Gewicht das softmax-normalisierte Skalarprodukt der Query dieses Tokens mit dem Key eines anderen Tokens ist, skaliert um √d, damit die Gradienten wohlverhalten bleiben. Das ist die ganze Maschine. Jedes Token sieht jedes andere Token in einer Matrixmultiplikation – keine Rekurrenz, kein Scannen von links nach rechts.

Warum es funktioniert: Ältere Sequenzmodelle packten einen ganzen Satz in einen fixen Kontextvektor und versuchten dann, daraus zu dekodieren – ein Speicher-Engpass, der Information verlor, sobald der Input lang wurde. Attention beseitigt den Engpass: anstatt zu speichern, schlägt das Modell Dinge nach, parallel, jede Schicht. Die Kosten sind ehrlich – O(n²·d), weil n Token jeweils n anderen zuhören – genau darum investieren Frontier-Modelle für lange Kontexte in sparse, linear und Flash-Attention-Varianten. Der Operator ändert sich nie; nur die Verwaltung drum herum skaliert. Drei konkrete Ankerpunkte machen das greifbar: Positionskodierungen (ein kleiner sin/cos-Trick) geben dem sonst ordnungsblinden Operator einen Sinn für Sequenz; Graph Attention Networks lassen einen Finite-Element-Knoten auf seine mechanisch-relevanten Nachbarn hören statt nur auf die topologischen; und AlphaFold 2s Evoformer führt Attention über Residue-Paare aus, um 3D-Protein-Geometrie zu nahezu experimenteller Genauigkeit zurückzugewinnen – ein Problem aus fünfzig Jahren Biologie, gelöst durch Umgewichtung.

Ursprünge: Attention begann als Übersetzungs-Fix. 2014 bemerkten Bahdanau, Cho und Bengio, dass das Quetschen eines Quellsatzes in einen Vektor zu viel verlor, also liessen sie den Decoder durch gelernte Gewichte auf alle Encoder-Zustände zurückblicken; “weiche Ausrichtung” wurde in neuronaler maschineller Übersetzung in achtzehn Monaten Standard. Die Reorganisation kam am 12. Juni 2017 – genau neun Jahre vor dieser Woche – als Vaswani und sieben Co-Autoren bei Google Brain Attention Is All You Need auf arXiv veröffentlichten, Rekurrenz und Faltung löschten und nur gestapelte Self-Attention behielten. Innerhalb von fünf Jahren unterlegte dieses eine Diagramm BERT (2018, der grösste Google-Suche-Sprung eines Jahrzehnts), GPT-3 (2020), den Vision Transformer (2020, der ein Bild in 16×16-Patches schnitt und bewies, dass Faltungen nicht mehr obligatorisch waren), Stable Diffusion (2022, Cross-Attention, die Text in Bilder koppelt), und Point Transformer V3 (2024, Self-Attention über LiDAR-Wolken). PAZs eigene Concept-Panels – Attention – Historia und En Ingeniería – halten diese Abstammung im Regal genau darum, damit wir sie nicht jedes Mal neu erklären, wenn die Nachrichten sie zitieren.

In der Praxis: Ein Schweizer Büro greift zu Attention, wann immer der Input eine Menge von unregelmässigen, variabel-langen Token ist, deren Beziehungen mehr zählen als ihre Reihenfolge: eine LiDAR-Punktwolke für Scan-to-BIM, Beschleunigungssensor-Datenströme für Strukturüberwachung, ein IFC-Element-Graph für Kollisions-Erkennung, eine Energiebedarfs-Prognose, wo Wochentags- und Wochenend-Token sich gegenseitig umgewichten. Das AlphaFold-Template – Attention, die Geometrie aus Beziehungen vorhersagt – wird bereits für Fassaden-Wärmeverhalten und Tageslicht-Umverteilung über unregelmässige Geschossdecken kopiert. Der ehrliche Trade-off, deutlich gesagt: Attention ist eine Relevanz-Maschine, keine Wahrheits-Maschine – wie neueste Berichte zu Long-Context-Schwächen zeigen, verschlechtert sich ihre Wirksamkeit, wenn Sequenzen wachsen, also kann ein Modell, das deine ganze BEP ‘beachtet’, immer noch sicher die falsche Klausel gewichten. Lies die Ausgabe; deploye sie nicht.

Atelier: In unserem Atelier unterrichten wir Attention, wie wir eine Kettenlinie unterrichten – indem wir die kleinste ehrliche Version bauen und zuschauen, wie sie sich verhält. Acht Räume werden zu acht Token; eine Query beleuchtet die Studios. Das Ziel ist nicht, ein Modell auszuliefern, sondern zu fühlen, mit deinen eigenen Händen, die Bewegung, die jedes Frontier-System Milliarden Mal pro Sekunde macht.

Hack: Dieser Hack zeigt dir, wie du einen echten Attention-Head über einen Grundriss laufen lässt und beobachtest, welche Räume eine Query beleuchtet. Die Domain ist AI/ML; das Medium ist ausführbarer Code. Acht Räume, vier Features je, die kanonische QKV-Operation – der gleiche Operator, den ein LLM laufen lässt, nur Token ändern sich.

import torch, torch.nn.functional as F

# 8 Räume x 4 Features: [area_m2, daylight_h, adjacency_to_core, prog_tag]
rooms = torch.tensor([
    [42,6.5,0.2,0],[38,6.8,0.3,0],[18,2,0.9,1],[12,0,1,2],
    [22,4,0.5,1],[55,7.2,0.4,0],[16,1.5,1,2],[30,3,0.6,3]],
    dtype=torch.float32)
d = 4; torch.manual_seed(7)
W_q, W_k, W_v = (torch.randn(d, d) for _ in range(3))
Q, K, V = rooms @ W_q, rooms @ W_k, rooms @ W_v
attn = F.softmax((Q @ K.T) / d**0.5, dim=-1)        # 8x8 Attention
q = torch.tensor([45.,7.,0.2,0.]) @ W_q             # "ruhig, Süd, Studio"
print(F.softmax((q @ K.T) / d**0.5, dim=-1).round(decimals=2))  # Masse auf S1/S2/S3

Bonus: ersetze den finalen softmax durch eine maskierte Variante, deren -inf Einträge Attention über Brandschutzgrenzen unterbinden. Das ist der genaue Trick, den ein Transformer für kausales Maskieren in Sprache nutzt – hier umgewandelt als Code-Compliance-Einschränkung, in der Geometrie eingebettet.

Move: Füge das Snippet diese Woche in ein Notebook ein, tausche die acht Räume gegen dein aktuelles Projektprogramm aus, und lies, welche Token deine Query tatsächlich gewichtet. Diese zehn-Minuten-Übung wird dir mehr darüber beibringen, wie deine KI-Werkzeuge ‘denken’, als jeder Cheatsheet-Download – und das ist die erste Bewegung, die wir in jeder PAZ-Atelier-Sitzung zum Maschinenlern für AEC machen.