QQ Music hat kürzlich Version 14.0 veröffentlicht, die mit neuen Funktionen und Verbesserungen aufwartet. Besonders hervorzuheben ist die Einführung des ersten KI-Großmodells für Soundeffekte mit intelligentem Soundmatching für Musik. Dieser Soundeffekt wurde von den Teams QQ Music Tianqin Lab und Galaxy Sound gemeinsam entwickelt und analysiert die Klangfarbe, Klangqualität und Räumlichkeit von Musik, um ein personalisiertes Hörerlebnis zu bieten. So kann der Nutzer beispielsweise beim Abspielen von „孤勇者“ (Gū yǒng zhě) die räumliche Tiefe des 3D-Surround-Sounds im Hauptteil und die Nähe im Refrain erleben.

Im Bereich der Musik- und Soundgestaltung sind die Herausforderungen bei der Verbindung von Technologie und Kreativität enorm. Bisherige KI-Modelle sind oft auf spezielle Aufgaben beschränkt und weisen eine mangelnde Anpassungsfähigkeit auf, was ihren Nutzen in der Musikproduktion einschränkt. Um die KI besser für die Musik- und Audioproduktion nutzbar zu machen, benötigt man ein universelles Modell, das flexibel auf verschiedene kreative Anforderungen eingehen kann. Aus diesem Grund hat NVIDIA Fugatto vorgestellt, ein Audiogenerierungs- und -verarbeitungsmodell mit 2,5 Milliarden Parametern. Fugatto wurde entwickelt, um...

Mit dem Kinostart von Venom 3: Letztes Gefecht fegt eine von KI angetriebene Welle von 'Venom-Transformationen' über die TikTok-Plattform. Der Hauptdarsteller dieses Trends ist das chinesische KI-Videotool Pixverse, das es auch normalen Nutzern ermöglicht, professionelle Superhelden-Transformationseffekte zu erstellen. Der Hashtag #VenomTransformation eroberte zeitweise Platz vier der TikTok-Trend-Challenge-Liste und animierte zahlreiche Nutzer zur Kreation eigener Videos. Obwohl die von der KI generierten Effekte im Detail etwas grob erscheinen, hat ihre einfache Bedienbarkeit die Kreativität der Nutzer enorm beflügelt und sogar die Entstehung von...

Unter den vielen KI-Videogenerierungsmodellen ist Pika zweifellos eines der beliebtesten, insbesondere bei etablierten Creatorn und Zuschauern. Das in Palo Alto, Kalifornien, ansässige Startup-Unternehmen wurde von zwei Doktoranden der Stanford AI gegründet und hat bisher 135 Millionen US-Dollar an Finanzmitteln erhalten. Anfang dieses Monats veröffentlichte Pika Version 1.5 seines Text-zu-Video- und Bild-zu-Video-KI-Generierungsmodells und fügte sechs beeindruckende neue Effekte hinzu, darunter "Explosion", "Quetschen", "Schmelzen", "Flachdrücken", ...

Tongyi Qianwen verwendet die neue Domain „tongyi.ai“ und führt neue Funktionen ein, darunter die Tiefen-Suchfunktion, um die Benutzererfahrung zu verbessern. Die neue Dialogfunktion der Webversion unterstützt die Tiefen-Suche und liefert professionelle, strukturierte Suchergebnisse. Die Quellenwebseiten werden mit digitalen Indizes angezeigt, und ein Link ermöglicht den direkten Zugriff. Das App-Upgrade beinhaltet eine neue Bild-Mikroeffektfunktion, die das Hochladen von Bildern in verschiedenen Größen unterstützt. Die benutzerdefinierte Sing- und Playback-Funktion wurde optimiert, um Probleme beim Hochladen langer Audiodateien zu beheben. Die Upload-Dauer wurde von 120 Sekunden auf 300 Sekunden erhöht, und es wird nun auch das 3:4-Seitenverhältnis unterstützt, um den Benutzeranforderungen gerecht zu werden.

Die von a16z, Kleiner Perkins und Sequoia Capital unterstützte Videobearbeitungs-App Captions hat eine neue Funktion eingeführt, die benutzerdefinierte Grafiken, Zoom, Musik, Soundeffekte, Übergänge und dynamische Hintergründe basierend auf dem Inhalt zu bestehenden, unbearbeiteten Videos hinzufügen kann.

Ein Forschungsteam präsentiert IllumiNeRF, eine vereinfachte Methode zur 3D-Relighting: Zunächst wird mithilfe eines bildbasierten Diffusionsmodells, das auf Lichtbedingungen trainiert wurde, jedes Eingabebild erneut beleuchtet. Anschließend wird aus diesen neu beleuchteten Bildern ein neuronales Strahlungsfeld (NeRF) rekonstruiert, um neue Perspektiven unter der gewünschten Beleuchtung darzustellen. Die Studie zeigt, dass diese Strategie überraschend konkurrenzfähig ist und in mehreren Relighting-Benchmarks State-of-the-Art-Ergebnisse erzielt.

Das Team von Tian Tu Wan Jing hat ein universelles Audio-Tool für Videos namens Sora Opera vorgestellt, mit dem die "Stumm-Modus"-Einschränkung von Videos aufgehoben werden kann. Benutzer können ihren generierten Videos Musik und Soundeffekte hinzufügen und so den "Stumm-Modus" aufheben, benötigen dafür aber ein kostenpflichtiges Abonnement. Sora Opera soll Funktionen zur Text-zu-Soundeffekt- und Video-Soundtrack-Generierung bieten. Die Cloud-Version wird zunächst Partnern zur Verfügung gestellt. Der Gründer zeigte mehrere Demo-Videos von Sora Opera, die die Synchronisation von Videos mit einer Länge von bis zu 60 Minuten unterstützen. Sora Opera

Die neue Serie "Der Fall Di Gong in der Tang-Dynastie", die kürzlich auf Youku veröffentlicht wurde, verwendet erstmals künstliche Intelligenz zur Unterstützung der Erstellung von Spezialeffekten, insbesondere bei der Darstellung der Stadt Chang'an. Die KI-Technologie generierte Szenen wie Menschenmengen, Straßen und Gebäude und ersetzte vollständig die traditionelle Handzeichnung. Durch den KI-gestützten Szenenaufbau konnte der Regisseur jederzeit Anpassungen vornehmen und seine Ideen schnell umsetzen, wodurch die Produktionszeit um fast 70 % verkürzt wurde. Dieser KI-basierte Szenenaufbau ermöglicht es dem Regisseur, aus beliebigen Blickwinkeln zu filmen, was zu einer höheren Effizienz und Genauigkeit führt. Verwendet in "Der Fall Di Gong in der Tang-Dynastie"...

Meitu Xiuxiu präsentiert die neue Funktion „KI-Filter“, mit der Nutzer schnell hochwertige Filtereffekte kopieren können. Importieren Sie einfach Ihr Lieblingsbild in den „KI-Filter“, und die KI lernt und kopiert den Filtereffekt dieses Bildes. Das KI-Modell analysiert den Farbton des Referenzbildes und empfiehlt intelligent ein entsprechendes Zielbild. Nutzer können den Filter speichern, um ihn später direkt zu verwenden. Ohne Fachwissen und aufwändige Bedienung erzielen Sie ganz einfach den gewünschten Fotoeffekt.

Meitu XiuXiu präsentiert die neue Funktion „KI-Filter“, mit der sich hochwertige Filtereffekte schnell kopieren lassen. Der Nutzer importiert einfach sein Lieblingsbild, und die KI lernt und kopiert den Filtereffekt automatisch. Durch das Klonen von Filtern erhalten Nutzer den gleichen oder einen ähnlichen Filtereffekt. Das KI-Modell analysiert und lernt die Farbtöne des Referenzbildes und empfiehlt intelligent das entsprechende Zielbild. So erzielen Nutzer mühelos den gewünschten Fotoeffekt, ohne Fachwissen und komplizierte Bedienung.