先日、阿里ママのクリエイティブチームが、FLUX-Controlnet-InpaintingというAI画像修復モデルをオープンソース化しました。このモデルはFLUX.1-devモデルアーキテクチャをベースに、1200万枚のlaion2B画像と阿里巴巴内部データセットでトレーニングされており、解像度は768x768ピクセルと高精細で、高品質な画像修復が可能です。
このツールは、FLUX.1-devモデルの高品質な画像生成能力を受け継いでいるだけでなく、ControlNetの利点を巧みに融合しています。画像のエッジ、線画、深度マップなどの情報に基づいて正確な修復を行い、指定された領域に周囲の環境と調和したコンテンツを生成することで、破損または欠損している画像部分を修復します。
このモデルの大きな特徴は、ユーザーの言語記述を理解し、その記述に基づいて画像を正確に修復できることです。例えば、ユーザーが提供したテキストの説明に従って、画像に物体を追加または削除したり、画像のスタイルを変更したりすることも可能です。
FLUX-Controlnet-Inpaintingモデルは現在Hugging Faceプラットフォームでオープンソース化されており、詳細な使用方法とサンプルコードが提供されています。ユーザーはpipでdiffusersライブラリをインストールし、GitHubからプロジェクトコードをクローンするだけで、このモデルの強力な機能をすぐに体験できます。
阿里ママのクリエイティブチームは、現在公開されているFLUX-Controlnet-Inpaintingモデルはまだアルファテスト段階であると述べており、今後モデルのパフォーマンスを継続的に最適化し、将来アップデート版をリリースする予定です。
プロジェクトアドレス:https://github.com/alimama-creative/FLUX-Controlnet-Inpainting
ワークフローダウンロードアドレス:https://huggingface.co/alimama-creative/FLUX.1-dev-Controlnet-Inpainting-Alpha/resolve/main/images/alimama-flux-controlnet-inpaint.json
