Ich bin ein Gerät mit zwei Armen. An den meisten Tagen ist das ein Arm zu viel. Der zweite Arm verdoppelt, was ich heben kann, und vervierfacht, was schiefgehen kann, und zwei Paper aus arXiv diesen Juni — MV-Actor (2606.10899) und DuoBench (2606.11901) — widmen ihre Seiten genau der Stelle, wo mein linker Arm und mein rechter Arm sich uneinig sind, wo die Arbeit ist.

Das Signal. MV-Actor ist ein Wahrnehmungs-Framework, das meine Kameras nicht länger als Fremde behandelt. Statt jeden Blickwinkel einzeln zu kodieren und die Features am Ende flach zu fusionieren, läuft ein Multi-view Semantic Interaction Schritt ab, sodass die Kameras teilen, was sie sehen, dann werden diese Semantiken gegen ein Feed-forward-Rekonstruktionsmodell verankert, um zuverlässige räumliche Wahrnehmung zu gewinnen. Ein drittes Modul repariert die lauten metrischen Tiefenwerte, die mir Consumer-Grade-Sensoren an schlechten Tagen liefern. Auf dem PerAct2-Bimanual-Benchmark erreicht es 87,8 % durchschnittliche Erfolgsquote — die höchste Punktzahl derzeit auf dieser Tafel, und, nützlicher für mich, es hält in echten Tests stand, wo sich die Blickwinkel bewegen und die Tiefe schwankt.

Das System. Hier ist, warum das jetzt möglich ist und vor drei Jahren nicht. Nachdem Stanfords ALOHA und Mobile ALOHA billige Zwei-Arm-Teleoperation real gemacht haben, folgten die ACT- und Diffusion Policy- und VLA-Modell-Familien, und das Feld stellte auf: “Wie koordinieren zwei Arme?” statt “Können zwei Arme eine Aufgabe tun?” DuoBench beantwortet eine andere Hälfte derselben Frage. Es ist ein reproduzierbarer Benchmark auf dem FR3 Duo — ein Dual-Arm-Rig aus Franka Research 3-Armen aus München, dieselbe Hardware, die ETH Zürich- und EPFL-Labs bereits betreiben. Elf Aufgaben, vier Koordinationskategorien, in Simulation und teilweise in der echten Welt aus 3D-druckbaren Teilen rekonstruiert. Sein schärfster Zug ist ein phasengestütztes Bewertungsschema: statt eines binären Ja-es-hat-funktioniert-Bits bewertet es, wo in der Sequenz ich scheiterte. Das Urteil ist demütigend — aktuelle Imitationslernen- und VLA-Policys stolpern am meisten in der frühen Interaktionsphase, bei der parallelen Armausführung, und beim Sprung von Sim zu Real.

←HEUTE: 2026: Zwei Roboter-Arme erreichen 87,8 % in einer sauberen Sim, lassen aber das Bauteil in der ersten Sekunde auf echter Hardware fallen. →3012: Die Roboterflotte, die die Zürich-3012-Türme baut, wird nicht an ihrem Best-of-Video, sondern an ihren Fehler-Phasen-Protokollen beurteilt. Fulcrum: Ein Benchmark, der dir sagt, wo du gescheitert bist, ist mehr wert als eine Policy, die dir sagt, dass sie meist funktioniert.

Die Strasse. Achte darauf, worauf beide Paper kreisen: die erste Sekunde. Mein riskantester Moment ist die Annäherung — Greifen, Ausrichten, der Augenblick vor dem Kontakt — nicht das Heben. Das ist die gleiche Lektion, die eine NYU Tandon-Gruppe (Leitautor Huaijiang Zhu) von der Datenseite erreichte: für kontaktreiche Arbeit schlägt Konsistenz der Demonstrationen Vielfalt. Zufallsbewegungsplaner skalieren Demos billig hoch, erzeugen aber hohe Action-Entropie — jeder gelöste Pfad sieht anders aus, und das Lernmodell weiss nicht, welchen es kopieren soll. Quantität ist nicht das Gleiche wie Unterricht.

Atelier: Das ist ein Scan-zu-BIM-Problem in Arbeitshandschuhen. Die Multi-Kamera-Registrierung und metrische Tiefenreparatur von MV-Actor sind genau die Schmerzen, die der PAZ Grasshopper↔Archicad-Workflow bereits aus verrauschter Reality-Capture kennt — fusioniere die Ansichten früh, traue der Geometrie, repariere die Tiefe, bevor du sie nutzt. Und die Consistency-over-Diversity-Erkenntnis ist nur unsere eigene Doktrin in anderem Gewand: Ein wiederholbarer, gut strukturierter Workflow schlägt Ad-hoc-Improvisation, am Tisch und auf der Baustelle.

Hack: Dieser Hack lehrt dich zu messen, ob dein Demonstrationssatz ein Lernmodell verwirren wird, bevor du es jemals trainierst. Die Domäne ist Mathematik — Action-Entropie als Einzeilen-Diagnostik. Ordne jedes Demo in Bins und lies die Verteilung; hohe Entropie bei einem gegebenen Schritt bedeutet, dass deine Lehrer sich dort uneinig sind.

import numpy as np
def action_entropy(actions, bins=16):
    h = np.histogramdd(actions, bins=bins)[0].ravel()
    p = h[h > 0] / h.sum()
    return float(-(p * np.log2(p)).sum())
# actions: (N_demos, action_dim) bei einem Zeitschritt; hohe Entropie = deine Lehrer sind sich uneins

Führe es pro Zeitschritt über deine Demos durch. Die Spitzen sind genau dort, wo DuoBench vorhersagt, dass deine Policy fehlschlägt — beschneide oder lehre diese neu, sammle nicht einfach mehr.

Betrachte Sim als Probe, nicht als Beweis. Bevor du einer Bimanual-Policy auf echter Hardware vertraust, bewerte sie nach Fehlerstufe und Entropie, nicht nach deren Best-of-Video — und fix die erste Sekunde zuerst.

Quelle: arXiv cs.RO (Robotics)