Das OpenBMB-Team hat kürzlich MiniCPM-o2.6 vorgestellt, das neueste und leistungsstärkste multimodale Large Language Model (MLLM) dieser Reihe. Das herausragende Merkmal von MiniCPM-o2.6 sind seine 800 Millionen Parameter, die ihm in den Bereichen visuelle Verarbeitung, Sprache und multimodales Live-Streaming eine Leistung ermöglichen, die der von GPT-4o-202405 nahekommt. Es ist damit eine vielseitige und effiziente Option in der Open-Source-Community.
MiniCPM-o2.6 verfügt über eine leistungsstarke Eingabeverarbeitung und kann verschiedene Eingaben wie Bilder, Videos, Text und Audio verarbeiten, wobei es qualitativ hochwertige Text- und Sprachausgaben liefert.
Der Sprachmodus des Modells bietet neu eine zweisprachige Echtzeit-Dialogfunktion. Benutzer können je nach Bedarf verschiedene Stimmen konfigurieren und Emotionen, Geschwindigkeit und Stil steuern. Sogar Rollenspiele und Sprachklonierung sind möglich. Diese Innovationen machen die Interaktion mit MiniCPM-o2.6 reichhaltiger und ermöglichen einen natürlicheren und flüssigeren Austausch.
Neben den Fortschritten im Bereich der Sprachdialogverarbeitung hat MiniCPM-o2.6 auch im Bereich der visuellen Verarbeitung erhebliche Fortschritte gemacht. Seine leistungsstarke OCR-Funktion (Optical Character Recognition) und die Unterstützung mehrerer Sprachen ermöglichen ein effizienteres Verständnis von Echtzeitvideos. Diese herausragende Fähigkeit ermöglicht erstmals multimodales Live-Streaming auf mobilen Geräten, sodass Benutzer beispielsweise über ein iPad interaktive und unterhaltsame Inhalte streamen können.
Seit Februar 2024 wurden bereits sechs Versionen der MiniCPM-Reihe veröffentlicht. Das Team arbeitet kontinuierlich an der Verbesserung der Leistung und der Bereitstellungseffizienz des Modells. Das Modell stellt nicht nur eine technologische Innovation dar, sondern auch einen bedeutenden Fortschritt in der multimodale Interaktionserfahrung. Ob in professionellen Anwendungen oder im täglichen Leben – MiniCPM-o2.6 wird ein unverzichtbarer intelligenter Assistent für Benutzer sein.
Projektseite: https://github.com/OpenBMB/MiniCPM-o