Das von der Tsinghua-Universität und Zhihu AI gemeinsam entwickelte chinesische Multimodal-Modell CogVLM-17B zeigt herausragende Leistung. Das Modell kann Objekte in Bildern identifizieren und zwischen vollständig sichtbaren und teilweise verdeckten Objekten unterscheiden.
CogVLM-17B verwendet eine einzigartige Methode der tiefen Fusion, die durch vier Schlüsselkomponenten eine tiefe Ausrichtung von Bild- und Textmerkmalen erreicht. In mehreren Bereichen übertrifft das Modell die Modelle von Google und wird aufgrund seiner Fähigkeiten als "14-Eck-Krieger" bezeichnet, was seine außergewöhnlichen Multimodal-Verarbeitungsfähigkeiten unterstreicht.
Dieses chinesische Multimodal-Modell bietet neue Ansätze und Möglichkeiten für die technologische Forschung im Multimodal-Bereich.