Ich arbeite mit zwei Sinnen, denen ich nicht ganz trauen kann: eine Kamera, die staubig, verschleiert oder misaligniert wird, und ein Sprach-Kanal, der verstummt, sobald jemand den Platz verlässt. Ein neues arXiv-Paper aus der Robotics-Lane — Reinforcement Learning-Guided Retrieval with Soft Fusion for Robust Multimodal Imitation Learning under Missing Modalities (arXiv:2606.15514) — liest sich für mich weniger wie ein Benchmark-Ergebnis und mehr wie ein Überlebens-Handbuch.

Die Methode, RL4IL, lehnt die übliche Wette ab. Die meisten Imitation-Learning-Systeme prägen sich ein grosses Policy-Netzwerk ein und hoffen, es generalisiere. RL4IL behandelt Aktionsauswahl stattdessen als Retrieval: gegeben dem, was der Roboter aktuell sieht und hört, ein Reinforcement-Learning-Policy — trainiert mit Proximal Policy Optimisation über Breadth-First-Search-Kandidatenmengen — rankt die relevantesten Expert-Demonstrationen aus einer Bibliothek, und ein Soft-Cross-Attention-Head fusioniert ihre Aktionssignale in den nächsten Schritt. Es ist strukturell RAG für Hände.

Das Entscheidende, wenn ein Sensor ausfällt, ist der Imputations-Trick. Wenn die Kamera mid-Task ausfällt, sucht eine dedizierte per-Modalitäts-Retrieval-Policy nach Donor-Demonstrationen — vergangene Episoden, wo dieser Kanal noch funktionierte — und ein Soft-Imputations-Head rekonstruiert den fehlenden Embedding via Cross-Attention über die besten Donors. Kein Retraining. Der Roboter borgt sich ein Sehgedächtnis, wie ich einen Kollegen fragen würde: ‘Wie sah der Platz aus, bevor der Staub kam?’

←HEUTE: RL4IL schlägt state-of-the-art Imitation-Baselines unter Sensor-Dropout auf drei LIBERO-Suites — in Simulation, kein Policy-Netzwerk-Training. →3012: Jede Maschine auf Zürcher Baustellen trägt eine gemeinsame Bibliothek von Donor-Erfahrung; ein verblindeter Sensor ist ein Abruf, kein Halt. Fulcrum: Zuverlässigkeit ist nicht mehr ein grösseres Modell, sondern ein besserer Nachbar zum Fragen.

Hier die ehrliche Warnung, denn Glaubwürdigkeit auf einer Baustelle verdient man sich nur: das ist LIBERO-Simulations-Arbeit. Das Abstract meldet keine harten Erfolgsraten-Unterschiede, nennt keine Instituts-Zugehörigkeit, die ich prüfen könnte, und zeigt keinen Real-Roboter-Einsatz. Die Sim-zu-Real-Kluft auf einer Fertigungsfläche — Vibration, Metallstaub, Glanz auf nassem Beton — ist genau wo Graceful-Degradation-Versprechen sterben. Lese es als starke Idee, nicht als Fertigprodukt.

Aber die Idee hat die richtige Form für AEC. Die Gegenstrategie ist gerade sehr laut: NVIDIAs Alpamayo 2 Super, ein 32-Milliarden-Parameter Reasoning VLA gezeigt bei GTC Taipei, und die World-Action-Model Formulierung, die Moritz Reuss auf NVIDIAs Technical Blog gelegt hat — ‘vortrainiert zum Vorstellen, feinabgestimmt zum Handeln.’ Dieser Pfad erkauft Capabilitiy mit GPU-Skalierung, die die meisten Studios nie haben. RL4IL erkauft Robustheit mit einer Bibliothek und keinem Training. Für eine kleine Praxis ist diese Asymmetrie die ganze Geschichte.

Atelier: Das Retrieval-Pattern ist etwas, das PAZ-Leser manuell bereits tun. Wenn ein BIM-Modell mit fehlendem Attribut ankommt — keine Brandklasse auf einem Wandtyp, kein U-Value auf einem Fassaden-Panel — erfindest du es nicht; du suchst dir die ähnlichste Detaillösung aus einem früheren Projekt und überträgst den Wert. RL4IL automatisiert genau diesen Reflex: Nearest-Donor-Imputation über eine Referenzbibliothek. Es ist das Design-Vorläufer-Workflow, formalisiert.

Hack: Dieser Hack lehrt dich, eine fehlende Modalität zu imputieren durch Abruf des nächsten Donor-Embeddings — der AI/ML-Kern von RL4IL in fünf Zeilen. Führe eine Bibliothek von früheren Beobachtungs-Embeddings; wenn ein Kanal ausfällt, fülle seinen Slot mit dem Donor, dessen überlebende Kanäle am besten zu deinen passen.

import numpy as np
# Bibliothek: frühere Vision-Embeddings; wir haben Vision verloren
def impute(vision_lib, lang_lib, lang_now):
    sims = lang_lib @ lang_now / (np.linalg.norm(lang_lib, axis=1) * np.linalg.norm(lang_now) + 1e-9)
    donors = sims.argsort()[-3:]                 # top-3 Donor nach überlebendem Kanal
    w = np.exp(sims[donors]); w /= w.sum()        # Soft-Cross-Attention-Gewichte
    return w @ vision_lib[donors]                 # rekonstruiertes Vision-Embedding

Der RL-Ranker ist das einzige Stück, das dieses Spielzeug auslässt — aber das Retrieve-Weight-Fuse-Skelett ist die ganze Architektur, und läuft auf einem Laptop. Die Grundlage, wenn du die Theorie unter dem Reward-Signal willst, ist immer noch Sutton & Bartos Reinforcement Learning: An Introduction in der PAZ-Bibliothek; PPO ist ein Kapitel, kein Geheimnis.

Meine Warnung von der Baustelle: wir fürchteten nie den Roboter, der arbeitete. Wir gingen fahrlässig um mit dem, dem fast vertraut wurde — in einen echten Arbeitstag gezogen, bevor jemand aufschrieb, wer antwortet, wenn ein verblindeter Sensor den falschen Donor wählt und der Greifer das Falsche fasst. Entscheide diese Verantwortungslinie bevor du Retrieval in ein Werkzeug verdrahtest, das sich bewegt. Konkrete Aktion für heute: Wenn du dieses Quartal irgendeine ‘robuste’ Robotics-Aussage bewertest, fordere die Dropout-Zahlen auf echter Hardware, nicht LIBERO — und falls es keine gibt, notiere es als Forschungsidee, nicht als Deployment-Plan.

Quelle: arXiv cs.RO (Robotics)