Google trainiert seine Roboter mithilfe von Gemini AI, um deren Navigations- und Aufgaben erledigungsfähigkeiten zu verbessern.
Das DeepMind-Roboterteam beschreibt in einer neuen Forschungsarbeit detailliert, wie die Verwendung des langen Kontextfensters von Gemini 1.5 Pro die Interaktion von Benutzern mit dem RT-2-Roboter über natürlichsprachliche Befehle vereinfacht. Durch die Aufnahme von Video-Touren bestimmter Bereiche ließen die Forscher den Roboter mithilfe von Gemini 1.5 Pro Videos „anschauen“, um die Umgebung zu verstehen. Dadurch kann der Roboter Befehle basierend auf seinen Beobachtungen ausführen, z. B. den Benutzer zur Steckdose zum Aufladen führen.
DeepMind gab bekannt, dass die mit Gemini ausgestatteten Roboter in einem Aktionsbereich von über 836 Quadratmetern mehr als 50 Benutzerbefehle mit einer Erfolgsrate von 90 % erfolgreich ausgeführt haben.
Darüber hinaus stellten die Forscher fest, dass Gemini 1.5 Pro es Robotern ermöglicht, die Ausführung von Befehlen zu planen, die nicht nur auf Navigation beschränkt sind. Wenn beispielsweise ein Benutzer auf einem Tisch mit vielen Cola-Dosen nach seinem Lieblingsgetränk fragt, lässt Gemini den Roboter wissen, dass er zum Kühlschrank gehen und dann dem Benutzer das Ergebnis mitteilen sollte. DeepMind plant, diese Ergebnisse weiter zu untersuchen.
Laut der Forschungsarbeit benötigen die Roboter zwar 10 bis 30 Sekunden, um diese Befehle zu verarbeiten, obwohl die von Google bereitgestellten Videodemonstrationen beeindruckend sind. Auch wenn es noch einige Zeit dauern mag, bis wir unsere Häuser mit fortschrittlicheren Umgebungskartierungsrobotern teilen, könnten diese Roboter zumindest dabei helfen, verlorene Schlüssel oder Geldbörsen zu finden.
Wichtigste Punkte:
🤖 Gemini AI trainiert Roboter, um die Navigations- und Aufgaben erledigungsfähigkeiten zu verbessern
🧠 Gemini 1.5 Pro ermöglicht es Robotern, natürlichsprachliche Befehle auszuführen
🔍 Die Forschung zeigt, dass Gemini es Robotern ermöglicht, die Ausführung von Befehlen zu planen, die über die Navigation hinausgehen