Das Meta FAIR Labor hat kürzlich eine Technologie namens „Sparsh“ vorgestellt, eine künstliche multimodale Fingerspitzen-Tastwahrnehmung. Diese Technologie verleiht Robotern ein nahezu menschliches Tastgefühl und verspricht eine revolutionäre Veränderung im Bereich der Robotermanipulation.
Das Sparsh-Modell verwendet selbstüberwachtes Lernen und trainiert mit über 460.000 taktilen Bildern im Vorfeld. Ohne manuell annotierte Daten lernt es universelle taktile Repräsentationen.
Das Modell unterstützt verschiedene Arten von visuotaktilen Sensoren, darunter DIGIT, GelSight2017 und GelSight Mini, und verbessert die Leistung von Robotern bei taktilen Wahrnehmungsaufgaben deutlich. Dazu gehören Kraftschätzung, Gleitdetektion, Pose-Schätzung, Vorhersage der Greifstabilität und Gewebeidentifizierung. Die Forscher haben auch eine standardisierte Benchmark-Plattform namens TacBench entwickelt, um die Leistung verschiedener taktiler Sensoren und Modelle bei verschiedenen Aufgaben zu bewerten.
Die Testergebnisse zeigen, dass das Sparsh-Modell in allen sechs Aufgaben von TacBench hervorragende Leistungen erbringt, insbesondere bei begrenzter Datenmenge, wobei es herkömmliche, aufgaben- und sensorspezifische Modelle deutlich übertrifft. Beispielsweise erzielt das Sparsh-Modell bei der Kraftschätzung und Gleitdetektion auch mit nur 1 % der annotierten Daten zufriedenstellende Ergebnisse. Dies bedeutet, dass Sparsh Robotern helfen kann, die physikalischen Eigenschaften von Objekten besser zu verstehen und präzisere Manipulationen durchzuführen.
Die Veröffentlichung des Sparsh-Modells markiert einen bedeutenden Durchbruch im Bereich der KI-basierten taktilen Wahrnehmung. Mit der Zunahme der Datenmenge und der weiteren Optimierung des Modells wird Sparsh voraussichtlich die Art und Weise, wie Roboter mit der physischen Welt interagieren, grundlegend verändern und den Einsatz von Robotertechnologie in einem breiteren Bereich ermöglichen.
论文地址：
https://scontent-sjc3-1.xx.fbcdn.net/v/t39.2365-6/464969941_1107633400780143_7479102347328147009_n.pdf?_nc_cat=103&ccb=1-7&_nc_sid=3c67a6&_nc_ohc=y8Ui1HEw3BQQ7kNvgFe-ePu&_nc_zt=14&_nc_ht=scontent-sjc3-1.xx&_nc_gid=AeaFsuZziasVwPfMQsEoZqu&oh=00_AYAMqxGq0ATCySDxZWB0ZT8BgSkogYmj13c9f3ytVtkmSg&oe=672DEEE4