Zuschauer:innen von synchronisierten Filmen kennen das Problem: Die Lippenbewegungen der Schauspieler:innen passen nicht zur synchronisierten Sprache. Das beeinträchtigt nicht nur das Seherlebnis, sondern auch das Eintauchen in die Geschichte. Um dies zu ändern, arbeitet das 2021 gegründete indische Startup NeuralGarage mit Hochdruck an einer Revolution der Synchronisationsbranche. Bildquelle: KI-generiertes Bild, Bildlizenzanbieter Midjourney. NeuralGarage mit Sitz in Bengaluru, Indien, wurde von Anjan Banerjee und Subhashish gegründet.

Microsoft hat kürzlich die Version 0.4 von AutoGen veröffentlicht, seinem Orchestrierungsframework für KI-Agenten. Dieses Update zielt darauf ab, die Flexibilität und Steuerbarkeit von KI-Agenten zu verbessern, um die Anforderungen der Benutzer an erweiterte Funktionen und Beobachtungsmöglichkeiten zu erfüllen. AutoGen erfreut sich seit seiner Einführung großer Beliebtheit bei Entwicklern, aber Benutzer stießen auch auf einige Einschränkungen der Architektur, ineffiziente APIs und unzureichende Funktionen zum Debuggen und Eingreifen. In der neuen Version hat Microsoft die Modularität und Erweiterbarkeit des Frameworks verbessert.

ByteDance hat kürzlich LatentSync vorgestellt, ein neuartiges Framework für die Lippensynchronisation, das mit Hilfe eines audio-konditionierten latenten Diffusionsmodells eine präzisere Lippensynchronisation erreichen soll. Das Framework basiert auf Stable Diffusion und wurde im Hinblick auf zeitliche Konsistenz optimiert. Im Gegensatz zu bisherigen Methoden, die auf pixelbasierter Diffusion oder zweistufiger Generierung beruhen, verwendet LatentSync einen End-to-End-Ansatz ohne Zwischendarstellung von Bewegungen und kann die komplexen Beziehungen zwischen Audio und visuellem Material direkt modellieren. In LatentSync...

Die Beijing Kuaishou Technology Co., Ltd. gab kürzlich bekannt, dass ihre selbst entwickelte visuelle generative große Sprachmodell Kling AI (Kling) API eine neue Runde von Funktionsverbesserungen erhalten hat. Die aktualisierte Kling AI API hat bei den beiden Hauptfunktionen virtuelles Anprobieren und Lippensynchronisation bemerkenswerte Fortschritte erzielt und bietet Kunden in den Bereichen E-Commerce, Werbung, Unterhaltung und KI-Tools eine noch leistungsfähigere technische Unterstützung.

Berichten zufolge hat Giant Network auf der China Game Industry Annual Conference 2024 das KI-Sprachmodell für die Spielgenerierung „QianYing“ vorgestellt und damit sein Engagement im Bereich „Gaming + KI“ weiter verstärkt. Laut öffentlichen Informationen umfasst „QianYing“ zwei Kernmodelle: das KI-Modell für die Generierung von Spielvideos YingGame und das KI-Modell für die Videosprachsynchronisation YingSound. Es wurde ein bahnbrechender Durchbruch bei der Generierung interaktiver Spielvideos mit Sprache erzielt. Giant Network gab an, dass das KI-Sprachmodell für die Spielgenerierung „QianYing“ derzeit...

AiSee Technology aus Peking gibt die weltweite Veröffentlichung seines neuesten Video-Generierungsmodells PixVerse V3 bekannt. Diese Version bietet erheblich verbesserte Basismodellfunktionen und umfasst multimodale Generierungsfunktionen wie Kreativvorlagen, Lippensynchronisation, Fortsetzungsgeschichten und Stilübertragung sowie zahlreiche KI-Funktionen.

Im Zeitalter der KI sind Sprachbarrieren kein Hindernis mehr für den Wissensaustausch. VideoLingo, ein revolutionäres Tool für die Übersetzung und Lokalisierung von Videos, bietet Ihnen mit nur einem Klick Videos in Netflix-Qualität – eine neue Art der KI-basierten Videoübersetzung. VideoLingo ist ein vollautomatisches Tool zur Videolokalisierung, das Untertitel in Netflix-Qualität generiert! Es unterstützt verschiedene hochwertige Synchronisationsoptionen! Vor dem Hintergrund der durch KI beschleunigten Steigerung der Effizienz der Inhaltsproduktion, Vi

Baidu KI hat kürzlich eine neue Funktion eingeführt, die es Benutzern ermöglicht, Dateien direkt aus Baidu Netdisk in die Wenxin Yiyan-Plattform zu importieren. Dieses Update vereinfacht den Prozess des Hochladens und Verwaltens von Dateien erheblich und ermöglicht es Benutzern, schneller auf die in ihrem Netdisk gespeicherten Dokumente zuzugreifen und diese zu verarbeiten.

D-ID hat kürzlich AI Video Translate vorgestellt, ein innovatives KI-Videoübersetzungswerkzeug, das Videoinhalte in verschiedene Sprachen übersetzen und dabei die Stimme des Sprechers klonen und die Lippenbewegungen anpassen kann, um eine perfekte Synchronisation zwischen Übersetzung und Bild zu gewährleisten. Das Werkzeug unterstützt die Batch-Rendering von 29 Sprachen und bietet eine benutzerfreundliche Oberfläche, die es jedem ermöglicht, es einfach zu verwenden. Mit dieser Technologie unterstützt D-ID Kunden bei der weltweiten Verbreitung von Marketing-, Unterhaltungs- und Social-Media-Kampagnen und spart Kosten bei der Lokalisierung. Die Einführung dieser Technologie ist ein bedeutender Schritt für kleine Unternehmen...

In Australien sehen sich lokale Synchronsprecher aufgrund des rasanten Fortschritts der KI-Technologie beispiellosen Herausforderungen gegenüber. Berichten zufolge sind die Arbeitsplätze von rund 5000 australischen Synchronsprechern bedroht, hauptsächlich aufgrund der preiswerten, KI-generierten Sprache, die menschliche Sprecher herausfordert. Die AAVA (Australian Voice Actors Association) befürchtet, dass KI die Arbeit menschlicher Synchronsprecher vollständig ersetzen könnte. Der Vorsitzende der AAVA, Simon Kennedy, erklärte, dass die Auswirkungen der KI auf die Synchronbranche ein Grund für die Gründung des Vereins waren, sie seien aber nicht gegen Technologie, sondern für...

PIKA veröffentlicht die Lippensynchronisationsfunktion "Lip sync", Alibaba veröffentlicht das Videogenerierungs-Framework EMO. EMO kann beliebig lange sprechende Videos generieren. Die Technologie von KI-Videogenerierungswerkzeugen wird ständig verbessert.

Alis EMO-Framework und OpenAIs Sora-Modell für Text-zu-Video-Generierung gewinnen an Popularität. EMO verbessert die Realitätsnähe und Natürlichkeit der generierten Videos. EMO ermöglicht die Generierung dynamischer und ausdrucksstarker KI-Avatare. Das EMO-Verfahren unterstützt die Generierung von Gesang und Sprache in verschiedenen Sprachen. EMO ermöglicht die Interaktion zwischen verschiedenen Avataren.