DriveVLM ist ein autonomes Fahrsystem, das visuelle Sprachmodelle (VLMs) nutzt, um das Szenenverständnis und die Planung zu verbessern. Das System verwendet eine einzigartige Kombination von Inferenzmodulen, darunter Szenenbeschreibung, Szenenanalyse und hierarchische Planung, um das Verständnis komplexer und unvorhergesehener Szenarien zu verbessern. Um die Einschränkungen von VLMs in Bezug auf räumliches Schlussfolgern und Rechenbedarf zu bewältigen, wurde DriveVLM-Dual entwickelt, ein hybrides System, das die Vorteile von DriveVLM mit traditionellen autonomen Fahrprozessen kombiniert. Experimente auf den Datensätzen nuScenes und SUP-AD zeigen, dass DriveVLM und DriveVLM-Dual bei der Bewältigung komplexer und unvorhersehbarer Fahrbedingungen sehr effektiv sind. Schließlich wurde DriveVLM-Dual in Serienfahrzeugen eingesetzt, um seine Wirksamkeit im realen Umfeld des autonomen Fahrens zu verifizieren.