Ein Roboter, der den Zürich Hauptbahnhof durchqueren muss, ohne jemanden zu erschrecken, kann nicht vor Ort trainiert werden — es gibt nur einen Versuch, und im Fehlerfall liegt jemand auf dem Boden. Das Training zieht in einen Simulator. Die zentrale Frage ist, ob die simulierte Menschenmenge realistisch genug ist, damit eine dagegen gelernte Navigation sich gegen echte Fussgänger bewährt. Ein neues arXiv-Paper, SONG: A Photorealistic 3D Gaussian Simulation Platform for Benchmarking Social Navigation (arXiv:2607.25219v1, cs.RO), beantwortet sie mit einer Plattform auf Basis von 3D-Gaussian-Splatting (3DGS) — der Radiance-Field-Repräsentation, die Kerbl et al. 2023 bei SIGGRAPH aus Inrias GRAPHDECO-Gruppe einführten, die eine gescannte Szene als Millionen orientierter Gaussian-Blobs statt als Dreiecke rendert.

Der Mechanismus verdient, näher gelesen zu werden, weil er der gleiche Stack ist, den ein Architekturbüro nutzt, um eine Fertigungszelle oder einen öffentlichen Innenraum durchzuspielen. SONG repräsentiert beide, Szene und menschliche Avatare, als Gaussians, führt dann jeden Fussgänger entlang einer Trajektorie, die ein grosses Sprachmodell aus der Semantik der Szene vorschlägt, und füllt die natürliche Ganzkörper-Bewegung mit einem trajektorie-gesteuerten Generator für kontinuierliche, natürliche Bewegungen. Hinzu kommt SONG-Bench, eine Sammlung von Bewertungsepisoden, stratifiziert nach Schwierigkeit, bewertet anhand einer mehrdimensionalen Metrik-Suite, die drei Dimensionen separat misst: Effektivität, Sicherheit und soziale Konformität.

Drei Erkenntnisse treffen hart auf. Visionsgestützte soziale Navigation ist noch lange nicht gelöst. Ein Sicherheits-Defizit geht jedem Etikette-Defizit voraus — die Roboter scheitern beim Nicht-Kollidieren lange bevor sie scheitern, höflich zu sein. Und für jeden, der Compute kauft, am wertvollsten: reale Daten zählten mehr als Modellgröße. Fine-Tuning auf SONGs kuratierte echte Episoden hob die Erfolgsquote, wo ein grösseres Modell allein nicht half. Das entspricht der Linie der GPU-parallelisierten ManiSkill3-Arbeiten (arXiv:2410.00425, aus Hao Sus Labor an der UC San Diego) — Mit Durchsatz bekommst du Samples, aber die Samples müssen der Realität entsprechen.

←HEUTE: Ein Robotik-Labor rendert ein gescanntes Gebäude als Gaussians und trainiert eine Policy darin — der Digital Twin wird zur Trainings-Bühne. →3012: Jeder öffentliche Innenraum wird mit einem zertifizierten Splat-Twin ausgeliefert, und die Maschinen, die sich darin bewegen, sind vor ihrer Ankunft dagegen vorabgeklärt. Drehpunkt: Der Twin ist nur vertrauenswürdig, wenn der Scan eines öffentlichen Gebäudes unter denselben Datenresidenz-Regeln gehalten wird wie die anderen Aufzeichnungen des Gebäudes.

Hier liegt der Schweizer Knackpunkt. Ein Splat-Twin einer Kantonsspital-Lobby oder eines Bahnhofs ist eine hochauflösende Aufzeichnung eines öffentlichen Raums und der Menschen darin. Sobald eine Gemeinde eine Simulationsplattform beschafft, um einen Lieferroboter oder eine Reinigungsmaschine zu zertifizieren, beschafft sie eine Daten-Pipeline — und das SONG-Design, das laut dem Paper echte Episoden stärker braucht als blosse Skalierung, heisst: Diese Pipeline will dein lokales Videomaterial. Das ist eine Datenresidenz-Frage im Robotik-Gewand.

Atelier: Ein Atelier, das einen Unity/Unreal- oder Gaussian-Splat-Digital-Twin-Workflow für Fertigung oder Facility-Durchspielen erprobt, wird unmerklich zum Datenverantwortlichen. Monday Move: Bevor du einen öffentlichen Raum in einen Twin scannst, schreib eine Klausel in die Vendor- oder interne Spec — der Raw-Scan und jeder abgeleitete Splat verbleiben auf einer Infrastruktur deiner Wahl, in einer Gerichtsbarkeit deiner Wahl — und betrachte jeden Tool, der das nicht einhält, als Ausschreibungsausfall, nicht als Feature-Mangel.

Hack: Nutze SONGs Safety-Before-Etiquette-Erkennnis selbst mit einer einzeiligen Clearance-Kennzahl — der Mindestabstand zwischen dem Weg deines Roboters und jeder Fussgänger-Trajektorie, für jeden Zeitschritt berechnet. Wenn dieser Abstand unter deinem Body-Buffer liegt, ist der Lauf unsicher, egal wie höflich er wirkte. Das ist die Safety-Achse von SONG-Bench als einzelne Zahl, die du lokal berechnen kannst, bevor du einem Twin vertraust.

import numpy as np
robot = np.load("robot_xy.npy")      # (T,2) Pfad-Samples, Meter
ped   = np.load("ped_xy.npy")        # (T,2) eine Avatar-Trajektorie
clearance = np.linalg.norm(robot - ped, axis=1).min()
print(f"min clearance {clearance:.2f} m — unsicher" if clearance < 0.5 else "ok")

Ein halber Meter ist ein verteidigbarer persönlicher Abstand; verkleinere ihn für einen Korridor, vergrössere ihn für einen Platz. Die Zahl ist das Tor, nicht das Gefühl — was genau SONGs Kernpunkt ist: Safety vor Etiquette.

Lese das SONG-Paper für die Metrik-Definitionen, lese dann die Datenresidenz-Klausel in deiner nächsten Simulations-Plattform-Ausschreibung. Wenn die Klausel fehlt, schreib sie hinein, bevor du einen einzigen öffentlichen Raum scannst.

Quelle: arXiv