最近、シンガポール国立大学とパデュー大学の研究者らがPAB技術を開発し、拡散変換ベースの動画生成におけるリアルタイム処理を実現しました。
製品入口：https://top.aibase.com/tool/pab
この技術は、Diffusion Transformer（DiT）ベースの動画生成モデルに対する初めての試みです。冗長なアテンション計算を削減することで、最大21.6フレーム/秒の生成速度を実現し、10.6倍の高速化に成功しました。さらに、Open-Sora、Open-Sora-Plan、Latteなど、人気のDiT動画生成モデルにも、画質を犠牲にすることなく適用可能です。PABは、訓練不要な手法であり、将来のDiT動画生成モデルにリアルタイム生成能力を与えることができます。PABは訓練不要で、将来のあらゆる拡散変換ベースの動画生成モデルにリアルタイム処理能力を与えることができます。
重要な機能特性：
PABのアテンションブロードキャストは、冗長なアテンション計算を削減することで、動画生成速度を大幅に向上させ、リアルタイム生成を実現します。
アテンションの安定性と差異に基づき、PABは様々なタイプのアテンションに対して異なるブロードキャスト範囲を設定することで、計算効率を確保しつつ、画質の劣化を最小限に抑えます。
シーケンシャル並列処理技術の改良により、PABは複数GPU間の通信オーバーヘッドを削減し、動画生成速度と効率をさらに向上させます。
研究者らは、動画拡散変換モデルにおけるアテンションメカニズムに時間ステップ間の顕著な差異があることを発見し、この発見に基づいて不要なアテンション計算を軽減するPABを提案しました。安定した中間部分では、PABは1つの拡散ステップのアテンション出力を後続の複数のステップにブロードキャストすることで、計算コストを大幅に削減します。さらに、より効率的な計算と画質劣化の最小化のために、異なるアテンションの種類に対して異なるブロードキャスト範囲を設定しています。
動画生成速度をさらに向上させるため、研究者らは動的シーケンシャル並列処理（DSP）ベースの並列処理手法を改良し、時間アテンションのブロードキャストによって通信オーバーヘッドの大部分を解消しました。これにより、50％以上の通信オーバーヘッド削減を実現し、リアルタイム動画生成のためのより効率的な分散推論能力を提供します。
要点：
⭐ PAB技術はリアルタイム動画生成を実現し、処理速度を10.6倍高速化しました。
⭐ 動画拡散変換モデルのアテンションメカニズムの差異を観察することで、不要なアテンション計算を軽減するPABを提案しました。
⭐ 並列処理手法の改良により、通信オーバーヘッドを大幅に削減し、リアルタイム動画生成のためのより効率的な分散推論能力を提供します。
