アリババは、MotionShopプロジェクトを発表しました。これは、高度な動画処理と3Dレンダリング技術を採用し、動画内のキャラクターを3Dアバターに置き換えることを可能にするプロジェクトです。これにより、動画特效制作の可能性が大きく広がります。
MotionShopは、背景抽出、姿勢推定、動画合成などの技術を用いており、ユーザーは動画をアップロードするだけで、リアルで視覚効果の高いAI動画を簡単に作成できます。
【AIデイリー】へようこそ！ここは、毎日人工知能の世界を探求するためのガイドです。毎日、開発者に焦点を当て、技術トレンドを洞察し、革新的なAI製品アプリケーションを理解するのに役立つ、AI分野のホットなコンテンツをお届けします。
従来の動画理解モデルは、長尺動画の処理において、複雑なコンテキスト理解など多くの課題に直面していました。動画理解能力の向上を目指した研究は数多くありますが、訓練と推論の効率の低さを効果的に克服することは困難でした。本研究チームはこれらの問題に対し、HiCo技術を用いて動画情報の冗長部分を圧縮することで、計算需要を大幅に削減しつつ、重要な情報を保持することに成功しました。具体的には、HiCoは動画を階層的に圧縮し、長尺動画を短いセグメントに分割することで、処理を削減します
AIスタートアップのOdysseyは、人工知能技術を用いてテキストや画像から3Dレンダリング図を生成するツール「Explorer」を開発しています。このツールは、DeepMind、World Labs、イスラエルのスタートアップDecartが最近発表したワールドモデルと同様に機能し、ユーザーが「緑豊かな日本庭園」といった記述を入力するだけで、インタラクティブなリアルタイムシーンを生成します。Odyssey
動画制作において、一貫性があり制御可能なアニメーション効果を実現することは、研究者たちが常に注目してきた重要な課題です。最近、研究チームは「AnimateAnything」と呼ばれる新たな手法を発表しました。これは、正確な動画操作を通じて、アニメーション制作をより柔軟かつ効率的にすることを目指しています。この技術は、カメラ軌跡、テキストプロンプト、ユーザーのアクション注釈など、さまざまな条件下で正確な動画処理を行うことができます。「AnimateAnything」は、多尺度制御特徴融合ネットワークを設計することにより構築され、
通義Appに、革新的なロールプレイング機能が追加されました。ユーザーは動画の人物をワンクリックで簡単に差し替えることができます。この機能は、アリババ通義研究所が今年初めに発表したMotionshopモデルによるもので、発表以来、世界中のクリエイターから大きな注目を集めています。
Stability AI社は最近、画期的な動画処理技術であるStable Video 4Dを発表しました。この技術は、単一視点の動画を8つの異なる角度からの新しい視点動画に変換することができ、制作者にこれまでにない柔軟性と創造性を提供します。Stable Video 4Dは、同社が以前発表したStable Video Diffusionモデルを基盤としています。画像を動画に変換するのではなく、この新しいモデルは動画を入力として受け取り、生成します
アリババから新しいプロジェクトMotionShopが登場。これを使うと、ビデオの中のキャラクターを3Dのアバターに置き換えることができます。多くの人はピンとこないかもしれませんが、これは私たちの日常でどのように使われるのでしょうか？一般人はどのように楽しめるのでしょうか？実際、TikTokや快手などのプラットフォームを利用しているユーザーにとっては、MotionShopの最終的な使い方は通義千問の全民舞王と少し似ていて、このツールを使って面白いビデオを作成することができます。そして、ビデオの生成を待ちます～このプロセスには約10分かかります。
FRESCOプロジェクトは北京大学が新たに発表した動画変換プロジェクトであり、動画処理のワークフローを大幅に簡素化します。主な機能は、動画を様々なスタイルの動画に変換することで、動画の一部領域の変換にも対応しています。本プロジェクトは革新的な設計を取り入れ、安定した時空間制約メカニズムを構築することで、動画の連続性を保証します。実装方法はシンプルで、アテンションメカニズムと特徴量更新によって動画処理を実現し、視覚的な一貫性を向上させます。FRESCOプロジェクトは既にオープンソース化されており、動画処理従事者にとって大きな利便性と福音をもたらします。
MITが開発したPixelPlayerプロジェクトは、動画から異なる音源を自動的に識別・分離できます。システムは、異なる楽器の音など、動画内の様々な音源を識別し、分離します。PixelPlayerの主要機能には、音源分離、音源定位、複数音源処理が含まれます。音声と画像を統合的に解析することで、動画内の音声を正確に定位・分離します。適用シーンとしては、音動画分離、音源定位、オーディオ処理などが挙げられます。
AIによる動画の理解は、ピクセル空間での予測に頼るべきではない。インターネット上のテキストデータが枯渇しつつある今、多くのAI研究者は動画に注目している。これが実現できれば、誰も現在のやり方を使わなくなるだろう。
生成モデルは動画処理に適していません。AIは抽象空間で予測を行う必要があります。インターネットのテキストデータは枯渇しつつあり、AI研究者は動画に注目しています。スタンフォード大学の教授は、因果関係の理解が将来のAIシステムにとって重要であると指摘しています。動画処理に適したモデルは、抽象的な表現空間で予測を行う必要があります。AIシステムは抽象的な表現空間で予測を行い、因果関係を理解する必要があります。