最近、Adobeは全く新しい創作ツール「Adobe Firefly Video Model」を発表しました。この新しいツールは、AdobeによるAI動画生成分野への大胆な挑戦であり、既存のFirefly生成AI画像モデルを基盤としています。
Adobeによると、このモデルは倫理的なトレーニングを受けており、使用データは全て同社が所有または使用許諾を得ているため、生成コンテンツの安全性が確保されています。
しかし、一部のAdobe Stockクリエイターはこれに異議を唱えています。彼らは、自身の作品をアップロードする際に、AIモデルのトレーニングに使用されるとは想像しておらず、さらには自身のスタイルと競合する可能性もあると懸念しています。
Adobe Firefly Video Modelは、今年後半にテスト段階に入る予定です。現在、早期アクセスウェイティングリストが公開されており、興味のある方は申請できます。
機能面では、テキストから動画、画像から動画の生成だけでなく、動画編集機能も備えていますが、一度に生成できる動画の長さは最長5秒に制限されています。
高品質動画生成例
Adobeの公式ブログでは、既に生成された素晴らしい動画の例がいくつか公開されており、その品質は非常に高く、テキストプロンプトへの忠実度も非常に高いことがわかります。
Fireflyのテキストから動画機能を使用すると、テキストプロンプト、様々なカメラコントロール、参照画像を使用して、タイムラインの空白をシームレスに埋めるBロールを生成できます。
例えば、「雪林の中のトナカイのクローズアップ、日没時、光は夢のように柔らかく」というような大まかなシーンを入力すると、非常に優れた動画が生成されます。
具体的なプロンプト：「Cinematic closeup and detailed portrait of a reindeer in a snowy forest at sunset. The lighting is cinematic and gorgeous and soft and sun-kissed， with golden backlight and dreamy bokeh and lens flares. The color grade is cinematic and magical.」
また、「スローモーションの火山噴火、溶岩の上空をカメラが飛行」といったシーンを入力しても、魅力的な結果が得られます。
具体的なプロンプト：「Slow-motion fiery volcanic landscape， with lava spewing out of craters. the camera flies through the lava and lava splatters onto the lens. The lighting is cinematic and moody. The color grade is cinematic， dramatic， and high-contrast.」
公式の説明によると、Firefly Video Modelは自然界の動画生成に優れています。制作担当者がシーンに必要な重要な establishing shot を撮り逃した場合、風景、植物、動物など、カメラの動きを伴う挿入映像を生成できます。
プロンプト：Footage of a camera on a drone flying over a desert with wind blowing over the dunes creating waves in the sand below.
さらに、追加のショットが必要な場合は、参照フレームに基づいて生成されたクリップを使用して、タイムラインの空白を埋めることができます。
例えば、元の動画が以下のようだったとします。
Firefly Video Modelを使って補足動画を生成できます。
プロンプト：Detailed extremely macro closeup view of a white dandelion viewed through a large red magnifying glass
また、豊富なカメラコントロール（角度、動き、ズームなど）を使用して、生成された動画に完璧な視点を作成することもできます。
例えば、ドローン視点の生成、プロンプト：Drone shot going between the trees of a snowy forest at sunset golden hour. The lighting is cinematic and gorgeous and soft and sun-kissed， with golden backlight and dreamy bokeh and lens flares. The color grade is cinematic and magical.
企業の意思決定者にとって、AdobeのFirefly Video Modelは非常に魅力的な選択肢となる可能性があります。特に、従業員の研修やマーケティング用の動画を作成したい企業にとってそうです。
Adobeは、ユーザーに法的保護を提供しています。AIモデルの使用中に著作権侵害訴訟が発生した場合でも、Adobeが保護を提供します（ただし、Firefly Videoがこれに含まれるかどうかは現時点では明確にされていません）。
2023年3月のAdobe Fireflyの発表以来、Adobeは、このモデルを広く使用されているCreative Cloudソフトウェアスイートにおける新しいAI機能の基盤としてきました。
Fireflyツールは、Photoshop、Illustrator、Lightroomなどの一般的なアプリケーションに既に組み込まれており、ユーザーはGenerative Fill、Generative Remove、Text-to-Templateなどの機能を利用できます。
Adobeによると、発表以来、120億枚以上の画像とベクター画像がFireflyを使用して生成されており、同社で最も急速に採用されたイノベーションの1つとなっています。
このプロジェクトを率いるAdobeのエグゼクティブ、Ashley Still氏は、同社が「動画編集コミュニティと緊密に協力して、Firefly Video Modelを推進している」と述べています。
AI動画生成だけではない
さらに、Firefly Video Modelは新しい動画の生成だけでなく、不要な要素の削除、完璧なトランジションなどのAI編集機能も備えています。
短編動画コンテンツの台頭と制作時間の短縮に伴い、Adobeはこれらのツールを通じて、編集者が制作プロセスを高速化し、同時に高品質な出力を維持できるようにすることを目指しています。
AdobeのFirefly Video Modelは、編集者がショットの編集だけでなく、カラーコレクション、アニメーション、視覚効果などを管理できるツールを提供することで、この問題を解決します。
このモデルは、上記で述べたBロール、マクロショット、大気効果（火、煙、水など）を含む幅広いクリエイティブな効果をサポートしており、ユーザーはこれらの要素を事前に録画またはアニメーション化されたショットに重ねることができます。
今年後半にPremiere Proに登場する注目機能の1つがGenerative Extendです。この機能により、編集者は動画クリップを延長したり、ショットの空白を埋めたり、トランジションをスムーズにしたりすることができ、クリップをオーディオやその他の視覚要素のリズムに合わせることができます。
Adobeは、Generative Extendがどのようにして音楽のクライマックスに完璧に合わせるためにショットの長さを延長できるかを示しています：
編集後、最終的な効果は以下の通りです：
Adobeは、AIをより多くの創作ワークフローに統合する方法を継続的に模索しており、これらの新しいツールがクリエイターがより多くの時間を創造的な探求に費やし、プロジェクト全体の品質を向上させるのに役立つことを期待しています。
公式ブログ：https://blog.adobe.com/en/publish/2024/09/11/bringing-gen-ai-to-video-adobe-firefly-video-model-coming-soon
重要なポイント：
🌟 Adobeが発表したFirefly Video Modelは、テキストから動画、画像から動画、そして動画編集機能をサポートしており、今年後半にテスト段階に入る予定です。
🎥 早期に生成された動画の品質は素晴らしく、テキストプロンプトへの高い忠実度を示しており、多くのクリエイターの注目を集めています。
📈 Adobeはユーザーに法的保護を提供し、企業がAIを使用して動画を作成する際の著作権侵害リスクを回避するのに役立っています。
