Der fehlende Kanal in embodied AI war nie Vision. Egozentrische Datensätze — Ego4D, Project Aria — geben Modellen schon Millionen Stunden von Händen, die sich durch die Welt bewegen. Was sie nie hatten: Kraft. Eine Kamera sieht, wie eine Hand auf Sperrholz zugreift, kann aber nicht sagen, ob der Druck 2 Newton oder 20 ist. Genau diese Lücke will ein neues arXiv-Paper, TouchAnything (arXiv:2605.13083, cs.RO), schliessen: Kontakt, Druck und Kraft direkt aus RGB-Video erschliessen, damit taktile Supervision ohne taktile Sensoren an jedem Handgelenk skaliert.

Lies die Veröffentlichung als zwei Artefakte, nicht eines — die Topologie zählt. EgoTouch ist der Datensatz: 208 Manipulationsaufgaben, 1.891 Episoden, innen und draussen, mit drei synchronisierten RGB-Streams (eine am Kopf montierte egozentrische Ansicht, zwei am Handgelenk), bimanuelle 3D-Handpose und kontinuierliche Druckverteilungen von tragbaren Tastsensoren während der Erfassung. TouchAnything ist das Modell, das diese verarbeitet: egozentrische Ansicht als primäre Eingabe, Handgelenkansichten optional zur Inferenz fusioniert. Die Sensoren werden nur beim Aufbau des Korpus getragen; das fertige Modell braucht nur Kameras.

System. Das ist die gleiche architektonische Wette, die das Feld immer macht — eine teure Modalität aus einer günstigen ableiten. Der Mechanismus darunter ist der Attention-Operator, den PAZ schon diagrammiert hat (siehe unser Konzept-Panel zu Aufmerksamkeit im Engineering): Ein Satz von Bild-Tokens beachtet Ansichten übergreifend, sodass die Handgelenkansicht das Gesehene der Kopfkamera neu gewichtet. Deshalb hilft das Fusionieren der Handgelenkstreams — die gemeldeten Gewinne sind bis zu 5,0% relatives Contact IoU und 6,1% relatives Volumetric IoU gegenüber egozentrisch allein. Beachte die ehrliche Grenze in der Topologie: Das sind relative Zahlen. Das Paper gibt keine absolute Baseline, keine Sensorauflösung, keine live bestätigte Lizenz. Ein Kartograph markiert das als unaufgelöste Kante, nicht als Sackgasse.

←HEUTE: 2026: Du kannst Greiferkraft aus gewöhnlichem Video unterrichten, ohne Gel-Sensoren an jedem Finger. →3012: Handwerk — Schalung, Panelbau, das Handgelenksgefühl eines guten Bauleiters — wird ein abfragbarer Datensatz. Drehpunkt: Die günstige Modalität unterrichtet die teure nur, weil jemand einmal bezahlt hat, beide synchron zu erfassen.

Strasse. Baustellenarbeit ist kontaktreich auf eine Weise, die Fabrik-Pick-and-Place nie war: Platzieren, Befestigen, Finalisieren, das Gefühl, wenn ein Anker sitzt. Die Hardware-Last beim Unterrichten eines Bauroboters war die Decke. Wenn Kraft aus einem Headset gelernt werden kann, das die meisten Teams ohnehin tragen könnten, sinkt die Hürde von instrumentierten Zellen zu Kamera und Körper. Chris Paxton, der den Datensatz als „weitere grosse, offene egozentrische Vortraining-Ressource” flaggt, zeigt auf die echte Verschiebung: das Nadelöhr liegt nicht mehr bei Sensoren, sondern bei annotierten Videos in Skalierung.

Atelier: Für ein Büro, das embodied AI auf der Baustelle kommen sieht, ist die praktische Lesart: Dein Archiv von On-Site-Aufnahmen wird still zu Trainingsdaten — das trägt ab sofort GDPR- und EU-AI-Act-Gewicht, wenn es Passanten oder private Räume erfasst. Diese Woche: Verfass eine einseitige Richtlinie für Einwilligung und Aufbewahrung für alle tragbaren Kameraaufnahmen auf deinen Projekten, bevor ein Forschungspartner nach dem Footage fragt.

Hack: Lies eine taktile Vorhersage wie das Paper: Contact IoU ist die Überlappung zwischen wo du Kontakt vorhersagst und wo die Druckverteilung tatsächlich aufleuchtet. Thresholding macht aus einem weichen Druckfeld eine Kontaktmaske, dann ist es Mengenoperation. Das ist die Metrik, die entscheidet, ob eine Handgelenkansicht ihren Platz in der Fusion verdient.

import numpy as np
def contact_iou(pred, gt, thr=0.1):
    p, g = pred > thr, gt > thr
    return (p & g).sum() / (p | g).sum()

Führe es auf deinen eigenen Bildpaaren aus und du spürst, wo das Modell ehrlich ist und wo es Griffe halluziniert. Das transferierbare AEC-Muster hat die gleiche Form wie das ganze Paper: Strukturbelastung oder einen verborgenen Defekt aus einem gewöhnlichen Foto erschliessen und gegen die eine instrumentierte Erfassung validieren, für die du tatsächlich bezahlt hast. Zeichne diese Abhängigkeit wie eine Pipeline — der günstige Sensor ist nur so vertrauenswürdig wie der teure hinter ihm. Finde den Datensatz, auf den deine Inferenz angewiesen ist, und benenne ihn.

Quelle: arXiv