Jeder Reinforcement-Learning-Agent lernt gleich: er macht etwas, das falsch sein könnte, und findet es heraus. Das ist kein Bug der Methode – es ist die Methode selbst. Das heisst, jedes RL-System beantwortet stillschweigend eine Bilanzierungsfrage, die niemand auf die Folie schreibt: wer trägt die Kosten des Fehlers, den der Agent machen muss, um etwas zu lernen.

Richard Sutton und Andrew Barto arbeiten beide Enden dieser Achse in ihrem Buch ab, Reinforcement Learning: An Introduction (der Entwurf zur zweiten Ausgabe ist kostenlos auf incompleteideas.net; MIT Press druckte die fertige Version 2018). Am günstigen Ende sitzt der 10-armige Bandit auf Seite 48 – 2000 Spielprobleme, und ein falscher Griff kostet dir genau eine suboptimale Ausschüttung. Deshalb fängt jeder RL-Kurs dort an: die Kosten sind klein. Der rein gierige Lerner erreicht etwa 1.0 Belohnung pro Schritt gegen mögliche 1.55 und findet den besten Arm nur ein Drittel der Zeit; der ε=0.1-Explorer macht es besser, zahlt aber eine permanente 9%-Steuer dafür, die Tür offen zu halten.

Das teure Ende ist Beispiel 6.6, Cliff Walking (S. 172), und es ist die ganze Geschichte in vier Zahlen. Eine Gitterwelt, Belohnung −1 pro Schritt, und ein Streifen namens The Cliff: tritt ein und du bekommst −100 und wirst zurück zu Start teleportiert. Starte Sarsa und Q-Learning auf dem gleichen Gitter, gleich ε-gierig, 10% Wackeln. Q-Learning lernt die Werte der optimalen Strategie – der Weg entlang des Randes – und dann, wegen des 10% Wackelns, fällt der Agent immer wieder hinab. Sarsa lernt die längere, langweilige Route oben entlang und übertrifft sie stillschweigend in der Praxis. Sutton und Barto sagen es klar: der Algorithmus, der die optimale Strategie lernt, schneidet online schlechter ab als derjenige, der das nicht tut.

←HEUTE: Ein Lehrbuchentwurf von 2015, 2026 gegen ein lebendes BOPTEST-Repo gelesen, erklärt noch immer, warum RL Rechenzentren kühlt, aber nicht einen Rohbau. →3012: Die Regler, die überleben, sind die, deren Belohnung ein 25-Jähriger noch lesen und prüfen kann. Fulcrum: Die Klippe und der Aufzug sind die gleiche Lektion – man sieht sie nur, wenn man aufhört zu fragen, ob der Agent klug ist, und anfängt zu fragen, was sein falscher Zug kostet und wer zahlt.

Der Unterschied ist ein Symbol, und er ändert, wer leidet

Hier ist der Mechanismus, weil er kleiner als der Hype ist. Sarsa (eingeführt in Abschnitt 6.4) basiert auf der Aktion, die es tatsächlich danach machen wird – das Update ist buchstäblich das Fünftupel, das ihm seinen Namen gibt – so leckt die Klippe −100 rückwärts in die Quadrate neben dem Rand, und der Agent lernt, ihnen einen breiten Bogen zu machen. Q-Learning (Watkins, 1989) basiert auf der besten Aktion, die es könnte machen, max über den nächsten Zustand. Es bewertet eine gierige Strategie, der es nicht folgt, also setzt es nie seine eigene 10% Wahrscheinlichkeit eines unbeholfenen Schrittes ein. On-Policy lernt den Fahrer, den es hat; Off-Policy lernt den Fahrer, den es sich wünscht.

Das Werkzeug: Um das auf einem echten Gebäude statt einem Gitter zu sehen: das Projekt eines Nachmittags ist BOPTEST – das Building Optimization Testing-Framework von David Blum, Javier Arroyo, Michael Wetter, Lieve Helsen und Kollegen bei LBNL, KU Leuven, PNNL, NREL und SINTEF, veröffentlicht im Journal of Building Performance Simulation 2021. Es ist die Klippe mit Sicherheitsnetz: containerisierte Modelica-Gebäudesimulationen hinter einer gemeinsamen HTTP-API, so dass du einen Regler an eine realistische thermische Anlage werfen kannst, ohne einen echten Kessel zu berühren. Das begleitende Repo ibpsa/project1-boptest-gym wickelt es in eine Gym-ähnliche Schnittstelle, so dass ein RL-Agent direkt mit ihm sprechen kann.

Einrichtung:

git clone https://github.com/ibpsa/project1-boptest
cd project1-boptest
# braucht Docker + docker compose
TESTCASE=bestest_hydronic_heat_pump docker compose up -d
# in einer anderen Shell: prüfe, ob es antwortet
curl http://127.0.0.1:80/name
# -> {"name":"bestest_hydronic_heat_pump"}

Erste Schritte:

1. Starte einen Testfall wie oben und rufe /name auf – wenn es antwortet, ist der Emulator live und du hast ein Gebäude, das du nicht brechen kannst.
2. POST /advance mit leerer Kontrolleingabe, um den eingebauten Baseline-Regler laufen zu lassen, und lies die zurückgegebenen Messungen – das ist deine Nicht-Handeln-Referenz.
3. Klone ibpsa/project1-boptest-gym, zeige seine url auf http://127.0.0.1:80, und starte den Beispiel-Agent für einen kurzen Horizont. Du hast jetzt Cliff Walking mit Heizkörpern: der Agent erkundet, die KPIs (Energie, thermischer Diskomfort) zeigen, was jeder falsche Zug kostet.
4. Ändere die Belohnung von nur Energie zu Energie-plus-Diskomfort und beobachte, wie sich das Verhalten umschlägt. Belohne es nur auf kWh und es entdeckt, dass ein leeres, tiefgefrorenes Gebäude extrem effizient ist.

Atelier: Die übertragbare Bewegung für ein Schweizer Büro ist nicht “RL adoptieren”. Es ist die einseitige Memo, die du vor schreibst, bevor jemand einen lernenden Regler für ein Gebäude vorschlägt: (1) formuliere die Belohnung in einem Satz, (2) frage, ob das Gebäude diese Belohnung von seinen bereits vorhandenen Sensoren messen kann, und (3) benenne, was eine falsche Aktion kostet und wer sie trägt. Crites und Bartos Aufzug-Studie ist die Warnung – ihre Belohnung war die Summe der quadrierten Wartezeiten der Fahrgäste, und sie geben auf Seite 303 zu, dass ein echtes Gebäude nie weiss, wie viele Menschen warten, sondern nur, wie lange seit dem Knopfdruck verstrichen ist. Das Gebäude kann seine eigene Belohnung nicht messen. Dein Montagszug: nimm die nächste BMS-Optimierung, für die jemand begeistert ist, und fülle diese drei Zeilen aus. Wenn Zeile 2 “nein” ist, hast du deine Antwort, bevor du einen Franken ausgibst.

Hack: Beobachte das eine Symbol, das einen vorsichtigen Regler in einen leichtfertigen verwandelt. Kopiere diese drei Zeilen und lies sie langsam – das ganze Sarsa-versus-Q-Learning-Argument lebt im zweiten Token des Targets.

target = r + gamma * Q[s2, a2]      # Sarsa: bootstrap from the step you'll ACTUALLY take
target = r + gamma * Q[s2].max()    # Q-learning: bootstrap from the step you WISH you'd take
Q[s, a] += alpha * (target - Q[s, a])   # same update rule, opposite temperament

Tausche Q[s2, a2] gegen Q[s2].max() aus und du hast dem Agent stillschweigend gesagt, seine eigenen Fehler nicht mehr einzukalkulieren. Auf einem Gitter ist das eine fallende Strichmännchen. Auf einem Chiller ist das eine benannte Beschwerde.

Warum es im Rechenzentrum läuft, nicht auf deiner Baustelle

DeepMind erzählte diese Lektion zweimal, und der Abstand zwischen den Erzählungen ist der Punkt. Im Juli 2016 war es ein Empfehlungssystem – 40% weniger Kühlenergie, 15% niedrigere PUE, und ein menschlicher Operateur entschied, ob jeder Vorschlag angewendet werden sollte. Im August 2018 übernahm “Safety-first AI for autonomous data centre cooling” direkte Kontrolle für etwa 30% durchschnittliche Einsparungen. Was sich änderte, war nicht ein klügerer Lerner. Es war ein Zaun: eine Aktion nur alle fünf Minuten, acht unterschiedliche Sicherheitsmechanismen, Unsicherheitsschätzung, die Züge mit niedriger Konfidenz verwirft, und – der Satz zum Merken – Operateure immer unter Kontrolle und in der Lage, jederzeit den AI-Modus zu beenden. Das ist Engineering, das die Klippe im Kopf hat: baue den langen, sicheren Weg absichtlich ein.

RL wird dort eingesetzt, wo die Anlage kontinuierlich ist, dicht instrumentiert, billig zu simulieren, und eine falsche Aktion kostet einen Grad Komfort, den du im nächsten Intervall zurückholen kannst. Das beschreibt ein Rechenzentrum und eine Aufzuggruppe. Es beschreibt keinen Rohbau, wo die explorative Aktion einer Person schadet, der Zustand unbeobachtbar ist, die Episode genau einmal läuft, und es keinen Reset-Knopf gibt. Die 2024-Sinergym-Evaluation von Manjavacas und Kollegen (arXiv:2401.05737) ist das ehrliche Gegengewicht auch in den freundlicheren Fällen: SAC und TD3 schneiden in-Verteilung gut ab, aber die Verallgemeinerung auf Bedingungen, auf die sie nicht trainiert wurden, ist noch ein offenes Problem.

Lernmaterial:

• Das Buch, kostenlos und komplett: Sutton & Barto, Reinforcement Learning: An Introduction – lies zuerst Beispiel 6.6.
• Das Framework: ibpsa/project1-boptest und sein RL-Wrapper ibpsa/project1-boptest-gym.
• Das Papier dahinter: Blum et al., BOPTEST, J. Building Performance Simulation 2021.
• Das ehrliche Gegengewicht: Manjavacas et al., DRL for HVAC control, arXiv:2401.05737.
• Falls neuronale Netzwerke neu für dich sind: Nielsen, Neural Networks and Deep Learning – Intuition zuerst, kostenlos.

Klone BOPTEST, starte die Nicht-Handeln-Baseline einmal, und nur dann lasse einen Agent erkunden. Die Reihenfolge zählt: du willst wissen, was ein falscher Zug auf einem Gebäude kostet, das du nicht brechen kannst, lange bevor du diese Zeile gegen eines schreibst, das du kannst.