Hedra ha presentado Character-3 y Hedra Studio, dos innovaciones que marcan un hito en la tecnología de avatares digitales. Estos avances permiten la inferencia conjunta de imagen, texto y audio, abriendo nuevas posibilidades para la creación de experiencias inmersivas y realistas en diversas aplicaciones.

Microsoft hat Phi-4 vorgestellt, ein vielversprechendes multimodales Mini-Modell, das die Verarbeitung von Sprache, Bildern und Text auf ein neues Level hebt. Dieses innovative Modell bietet verbesserte Leistung und Effizienz bei der Bearbeitung verschiedener Datenmodalitäten.

Microsoft hat kürzlich auf seiner Website ein neues, quelloffenes, multimodales KI-Agenten-Basismodell namens „Magma“ veröffentlicht. Dieses neue KI-System ist in der Lage, sowohl die digitale als auch die physische Welt zu durchdringen und gleichzeitig verschiedene Datentypen wie Bilder, Videos und Texte zu verarbeiten. Im Gegensatz zu herkömmlichen KI-Assistenten zeichnet sich Magma durch seine Fähigkeit zur Verhaltensprognose aus, wodurch es die Absichten und das zukünftige Verhalten von Personen oder Objekten in Videos genauer verstehen kann. Magma bietet ein breites Anwendungsspektrum und kann von Nutzern für diverse Zwecke eingesetzt werden.

Die kürzlich erfolgte Veröffentlichung des VLM-R1-Projekts läutet eine neue Ära in diesem Bereich ein. Das Projekt stellt die erfolgreiche Übertragung der R1-Methode des DeepSeek-Teams auf visuelle Sprachmodelle dar und bedeutet einen entscheidenden Fortschritt im Verständnis visueller Inhalte durch KI. VLM-R1 basiert auf der im letzten Jahr von DeepSeek veröffentlichten R1-Methode, die die GRPO (Generative Reward Processing Optimization) nutzt, um...

Ein Forscherteam von Microsoft und mehreren Universitäten hat kürzlich ein multimodales KI-Modell namens "Magma" vorgestellt. Dieses Modell wurde entwickelt, um verschiedene Datentypen wie Bilder, Texte und Videos zu verarbeiten und zu integrieren, um komplexe Aufgaben in digitalen und physischen Umgebungen zu bewältigen. Mit dem Fortschritt der Technologie finden multimodale KI-Agenten zunehmend Anwendung in Bereichen wie Robotik, virtuellen Assistenten und der Automatisierung von Benutzeroberflächen. Bisherige KI-Systeme konzentrierten sich oft auf visuell-sprachliches Verständnis oder Robotermanipulation, wobei die Kombination beider Aspekte eine Herausforderung darstellte.

Am 19. Februar gab die Beijing Zhipu Huazhang Technology Co., Ltd. bekannt, dass ihre multimodale Kreationsplattform „Qingying“ eine strategische Partnerschaft mit der KI-Charakter-Kreationsplattform „Nie Ta“ eingegangen ist, um gemeinsam die vollständige Pipeline vom KI-Charakterdesign bis zur Animationserstellung zu erforschen und die technische Umsetzung der IP-Konsistenz voranzutreiben. Diese Zusammenarbeit zielt darauf ab, die Bedürfnisse von Nutzern im Bereich Anime/Manga und die Anwendungsszenarien von KI umfassend zu erschließen und Nutzern qualitativ hochwertigere Generierungsergebnisse und schnellere Inferenzgeschwindigkeiten zu bieten.

Das einheimische Großmodell DeepSeek hat das neue multimodale Großmodell Janus-Pro vorgestellt und damit offiziell den Markt für textbasierte Bilderzeugung betreten. Dieser Schritt markiert einen bedeutenden Durchbruch für DeepSeek im Bereich der multimodalen KI. In Benchmarks wie GenEval und DPG-Bench übertraf Janus-Pro-7B nicht nur OpenAIs DALL-E3, sondern auch beliebte Modelle wie Stable Diffusion und Emu3-Gen. Janus-Pro verwendet die MIT-

Kürzlich gab die in Peking ansässige Firma Moonlit Dark Side Technology Co., Ltd. bekannt, dass ihr intelligenter Assistent Kimi ein bedeutendes technisches Upgrade erhalten hat und das neue multimodale Denkmodell k1.5 vorgestellt wurde. Dieses Modell erreicht branchenführende Leistung in multimodalem und allgemeinem Schlussfolgern und markiert einen weiteren bahnbrechenden Fortschritt von Kimi im Bereich der künstlichen Intelligenz.

Die Zhejiang Universität und die Alibaba DAMO Academy haben kürzlich eine bemerkenswerte Studie veröffentlicht, die sich mit der Erstellung hochwertiger multimodaler Lehrbücher aus Lehrvideos befasst. Dieses innovative Forschungsergebnis bietet nicht nur neue Ansätze für das Training großer Sprachmodelle (VLMs), sondern könnte auch die Art und Weise verändern, wie Bildungsressourcen genutzt werden. Mit der rasanten Entwicklung der künstlichen Intelligenz stützen sich die Vortrainingsdaten von VLMs hauptsächlich auf Bild-Text-Paare und Bild-Text-verflochtene Daten. Diese Daten stammen jedoch derzeit hauptsächlich aus dem Web, wobei der Zusammenhang zwischen Text und Bild schwach und die Wissensdichte relativ gering ist.

Die künstliche Intelligenz hat in den letzten Jahren bemerkenswerte Fortschritte gemacht, doch die Herausforderung besteht weiterhin in der Balance zwischen Rechenleistung und Multifunktionalität. Viele fortschrittliche multimodale Modelle wie GPT-4 benötigen in der Regel erhebliche Rechenressourcen, was ihren Einsatz auf High-End-Servern beschränkt und die effektive Nutzung intelligenter Technologien auf Edge-Geräten wie Smartphones und Tablets behindert. Darüber hinaus bleiben Echtzeitaufgaben wie Videoanalyse oder Sprach-zu-Text-Konvertierung eine technische Hürde. Dies unterstreicht den Bedarf an effizienten und flexiblen KI-Modellen, um nahtlose Funktionalität auch bei begrenzten Hardware-Ressourcen zu gewährleisten.

Die Alibaba DAMO Academy hat kürzlich Valley 2 vorgestellt, ein multimodal großes Sprachmodell, das speziell für E-Commerce-Szenarien entwickelt wurde. Ziel ist es, durch eine skalierbare visuelle-sprachliche Architektur die Leistung in verschiedenen Bereichen zu verbessern und die Anwendungsgrenzen im E-Commerce und im Bereich Kurzvideos zu erweitern. Valley 2 verwendet Qwen2.5 als LLM-Backbone, kombiniert mit einem SigLIP-384-Bildkodierer und nutzt MLP-Schichten und Faltungen für eine effiziente Merkmalsübertragung.

Der ehemalige Chefforscher der visuellen Computing-Gruppe des Microsoft Research Asia, Hu Han, ist kürzlich zu Tencent gewechselt und leitet dort die Entwicklung des multimodalen Großmodells Hun Yuan. Diese Nachricht hat in der Branche große Aufmerksamkeit erregt. Huns Beitritt wird als Impuls für Tencents KI-Geschäft angesehen. Hu Han erwarb 2008 seinen Bachelor-Abschluss an der Tsinghua-Universität und 2014 seinen Doktortitel unter der Aufsicht von Professor Zhou Jie. Seine Doktorarbeit wurde 2016 mit dem Preis für herausragende Doktorarbeiten der chinesischen Gesellschaft für Künstliche Intelligenz ausgezeichnet, was seine akademischen Leistungen unterstreicht. 2012, Hu Han...

Hu Han, ehemaliger Chefforscher der Visual Computing Group im Microsoft Research Asia, ist offiziell zu Tencent gewechselt und übernimmt von dem ehemaligen Leiter der Hun Yuan-Großsprachmodelle bei Tencent, Liu Wei, die Entwicklung des multimodalen großen Sprachmodells. Diese Nachricht hat in der Branche große Aufmerksamkeit erregt. Hu Han verfügt über einen soliden akademischen Hintergrund. 2008 erwarb er seinen Bachelor-Abschluss an der Tsinghua-Universität und promovierte 2014 bei dem renommierten Professor Zhou Jie. Seine Doktorarbeit wurde 2016 mit dem Preis für herausragende Doktorarbeiten der chinesischen Gesellschaft für Künstliche Intelligenz ausgezeichnet. 2012 arbeitete Hu Han bei der Universität von Pennsylvania...

In professionellen Umgebungen stehen GUI-Agenten (Grafische Benutzeroberfläche) vor drei zentralen Herausforderungen. Erstens ist die Komplexität professioneller Anwendungen deutlich höher als bei gängiger Software, was ein tiefes Verständnis komplexer Layouts erfordert. Zweitens verfügen professionelle Tools oft über höhere Auflösungen, was zu kleineren Zielgrößen und damit zu einer geringeren Lokalisierungsgenauigkeit führt. Drittens sind Arbeitsabläufe häufig von zusätzlichen Tools und Dokumentationen abhängig, was die Komplexität der Bedienung erhöht. Diese Herausforderungen unterstreichen die Notwendigkeit, fortschrittlichere Benchmarks und Lösungen zu entwickeln, um die Leistung von GUI-Agenten in diesen anspruchsvollen Szenarien zu verbessern. Derzeit...

Das in Yangzhou ansässige Unternehmen Grenzenlose Matrix Technologie Co., Ltd. (im Folgenden „Grenzenlose Matrix“) hat kürzlich eine Angel-Finanzierungsrunde in Millionenhöhe mit einer Bewertung im Milliardenbereich abgeschlossen. Investor ist Lihe Finance. Als 2024 gegründetes KI-Startup hat sich Grenzenlose Matrix zum Ziel gesetzt, einen „KI-Lehrer“ zu entwickeln, der multimodale Technologien, effizientes Schlussfolgern, Zuverlässigkeit und emotionale Interaktion vereint. Das Angebot richtet sich an Studenten und soll neben der Vermittlung technologischer Fähigkeiten auch eine personalisierte emotionale Begleitung bieten. Gründer Dr. Cui Sen ist ein exzellenter Absolvent der Tsinghua-Universität und war zuvor bei Qian Xuesen tätig.

Alibaba hat kürzlich ein neues multimodales Inferenzmodell namens QVQ-72B vorgestellt. Dieses Modell basiert auf Qwen2-VL-72B und kombiniert leistungsstarke Sprach- und visuelle Fähigkeiten, um komplexere Inferenz- und Analyseaufgaben zu bewältigen. Dies markiert einen neuen Durchbruch für Alibaba im Bereich der multimodalen KI. QVQ-72B zeigt eine deutliche Verbesserung bei visuellem Schlussfolgern, mathematischen und wissenschaftlichen Problemen, insbesondere bei mehrstufigen Inferenzaufgaben. Das bedeutet, dass das Modell nicht nur Textinformationen, sondern auch Bildinformationen verstehen und diese in mehreren Schritten verarbeiten kann.