SDXL 用 ControlNet (ブログ)
作成 : Masashi Okumura (@ClassCat)
作成日時 : 10/23/2023
* サンプルコードの動作確認はしておりますが、動作環境によりコードの追加変更が必要な場合はあるかもしれません。
* ご自由にリンクを張って頂いてかまいませんが、sales-info@classcat.com までご一報いただけると嬉しいです。
- 人工知能研究開発支援
- 人工知能研修サービス(経営者層向けオンサイト研修)
- テクニカルコンサルティングサービス
- 実証実験(プロトタイプ構築)
- アプリケーションへの実装
- 人工知能研修サービス
- PoC(概念実証)を失敗させないための支援
- お住まいの地域に関係なく Web ブラウザからご参加頂けます。事前登録 が必要ですのでご注意ください。
◆ お問合せ : 本件に関するお問い合わせ先は下記までお願いいたします。
- クラスキャット セールス・マーケティング本部 セールス・インフォメーション
- sales-info@classcat.com ; Website: www.classcat.com ; ClassCatJP
SDXL 用 ControlNet
ControlNet 用 WebUI 拡張 が 9 月に SDXL をサポートしました。この記事では Automatic 1111 で SDXL 用 ControlNet を導入して利用する方法について簡単に説明します。
[Major Update] sd-webui-controlnet 1.1.400 #2039
拡張 sd-webui-controlnet はコミュニケーションからの幾つかの control モデルのサポートを追加しました。多くの新しいモデルは SDXL に関連し、幾つかのモデルは Stable Diffusion 1.5 用です。
sd-webui-controlnet 1.1.400 は 1.6.0 以後の webui 用に開発されています。
sd-webui-controlnet 1.1.400 のインストール
Automatic 1111 で SDXL 用 ControlNet を利用するためには、対応する拡張ライブラリとモデルチェックポイントのインストールが必要です。
まず、Mikubill/sd-webui-controlnet をインストールします。この拡張は WebUI からでもインストールできますが、extensions ディレクトリに “git clone” すれば簡単です :
%cd /content/stable-diffusion-webui/extensions/
!git clone https://github.com/Mikubill/sd-webui-controlnet
SDXL 用 ControlNet モデル・チェックポイントのインストール
新たに追加された SDXL 用 ControlNet モデルのチェックポイントは以下のようなものです :
diffusers_xl_canny_full.safetensors
diffusers_xl_canny_mid.safetensors
diffusers_xl_canny_small.safetensors
diffusers_xl_depth_full.safetensors
diffusers_xl_depth_mid.safetensors
diffusers_xl_depth_small.safetensors
ip-adapter_xl.pth
kohya_controllllite_xl_depth_anime.safetensors
kohya_controllllite_xl_canny_anime.safetensors
kohya_controllllite_xl_scribble_anime.safetensors
kohya_controllllite_xl_openpose_anime.safetensors
kohya_controllllite_xl_openpose_anime_v2.safetensors
kohya_controllllite_xl_blur_anime_beta.safetensors
kohya_controllllite_xl_blur_anime.safetensors
kohya_controllllite_xl_blur.safetensors
kohya_controllllite_xl_canny.safetensors
kohya_controllllite_xl_depth.safetensors
sai_xl_canny_128lora.safetensors
sai_xl_canny_256lora.safetensors
sai_xl_depth_128lora.safetensors
sai_xl_depth_256lora.safetensors
sai_xl_recolor_128lora.safetensors
sai_xl_recolor_256lora.safetensors
sai_xl_sketch_128lora.safetensors
sai_xl_sketch_256lora.safetensors
sargezt_xl_depth.safetensors
sargezt_xl_depth_faid_vidit.safetensors
sargezt_xl_depth_zeed.safetensors
sargezt_xl_softedge.safetensors
t2i-adapter_xl_canny.safetensors
t2i-adapter_xl_openpose.safetensors
t2i-adapter_xl_sketch.safetensors
t2i-adapter_diffusers_xl_canny.safetensors
t2i-adapter_diffusers_xl_depth_midas.safetensors
t2i-adapter_diffusers_xl_depth_zoe.safetensors
t2i-adapter_diffusers_xl_lineart.safetensors
t2i-adapter_diffusers_xl_openpose.safetensors
t2i-adapter_diffusers_xl_sketch.safetensors
thibaud_xl_openpose.safetensors
thibaud_xl_openpose_256lora.safetensors
SDXl 用 ControlNet モデル・チェックポイントは lllyasviel/sd_control_collection から取得して extensions/sd-webui-controlnet/models ディレクトリに配備します。
例えば、diffusers_xl_canny_full を利用したい場合には以下を実行します :
%cd /content/stable-diffusion-webui/extensions/sd-webui-controlnet/models/
!wget https://huggingface.co/lllyasviel/sd_control_collection/resolve/main/diffusers_xl_canny_full.safetensors
以下の系統のモデルチェックポイントについては (最小限ですが) 動作確認しています :
- diffusers_xl_xxx
- kohya_controllllite_xl_xxx
- sai_xl_xxx
canny, depth, openpose についてはそれなりに充実していますが、現時点では segmentation モデルがないようです。
以上