香港中文大学の賈佳亞教授チームが最近発表したControlNeXtは、AI界の「ダイエット神器」と言えるでしょう！このオープンソースの画像・動画生成ガイドツールは、コンパクトなサイズながら、Stable Diffusionファミリーの一般的なモデル（SDXL、SD1.5など）と完璧に適合し、プラグアンドプレイで利用できるため、使用プロセスが大幅に簡素化されています。
ControlNeXtは、エッジガイド、ポーズ制御、マスク、被写界深度制御など、さまざまな制御モードをサポートしています。アイアンマンに美女のダンスを踊らせることも可能で、指先まで正確な動きを実現し、その強力な制御能力を示しています。
ControlNeXtの「ダイエットの秘訣」は、ControlNetの「大食い」制御ブランチを巧みに削除し、少量のResNetブロックで構成された「ヘルシーな食事」に置き換えた点にあります。このコンパクトなモジュールは、元の1/10のサイズしかないにもかかわらず、さまざまな制御条件の特徴を完璧に抽出できます。
さらに、ControlNeXtは「学習天才」でもあります。わずか400ステップで新しいスキルを習得できるのに対し、ControlNetは数千ステップも必要です。生成速度においてもControlNeXtは圧倒的で、遅延はわずか10.4%であるのに対し、ControlNetは41.9%もの遅延が発生します。
ControlNeXtのもう一つの「秘技」は、クロス正規化です。この技術は、特徴量に「交流パーティー」を開くようなもので、データ分布をできるだけ揃えることで、パラメータの初期化に対する感度を回避し、トレーニング初期から制御条件を有効に活用できます。
ControlNeXtはAI界の「トランスフォーマー」のような存在です。コンパクトで柔軟でありながら、強力な機能を備えています。二次元少女を制御線に完璧にフィットさせるだけでなく、個性豊かな異次元のキャラクターを作成することもできます。この神器があれば、まもなく驚くべきAIアート作品が数多く生まれるでしょう！
プロジェクトページ：https://pbihao.github.io/projects/controlnext/index.html
