Stable Diffusion 2.1 用 ControlNet

by

Stable Diffusion 2.1 用 ControlNet (ブログ)

作成 : Masashi Okumura (@ClassCat)
作成日時 : 10/27/2023

* サンプルコードの動作確認はしておりますが、動作環境によりコードの追加変更が必要な場合はあるかもしれません。
* ご自由にリンクを張って頂いてかまいませんが、sales-info@classcat.com までご一報いただけると嬉しいです。

 

クラスキャット 人工知能 研究開発支援サービス

◆ クラスキャット は人工知能・テレワークに関する各種サービスを提供しています。お気軽にご相談ください :

ClassCat Chatbot

◆ 人工知能とビジネスをテーマに WEB セミナーを定期的に開催しています。スケジュール。
  • お住まいの地域に関係なく Web ブラウザからご参加頂けます。事前登録 が必要ですのでご注意ください。

◆ お問合せ : 本件に関するお問い合わせ先は下記までお願いいたします。

  • クラスキャット セールス・マーケティング本部 セールス・インフォメーション
  • sales-info@classcat.com  ;  Website: www.classcat.com  ;   ClassCatJP

 

Stable Diffusion 2.1 用 ControlNet

Stable Diffusion 1.5 用 ControlNet、SDXL 用 ControlNet に続いて、Stable Diffusion 2.1 用 ControlNet の利用についても説明しておきます。

 

sd-webui-controlnet 1.1.400 のインストール

Automatic 1111 で ControlNet を利用するためには、対応する拡張ライブラリとモデルチェックポイントのインストールが必要です。

まず、Mikubill/sd-webui-controlnet をインストールします。この拡張は WebUI からでもインストールできますが、extensions ディレクトリに “git clone” すれば簡単です :

%cd /content/stable-diffusion-webui/extensions/

!git clone https://github.com/Mikubill/sd-webui-controlnet

 

Stable Diffusion 2.1 用 ControlNet モデル・チェックポイントのインストール

現在、Stable Diffusion 2.1 用には以下の ControlNet モデルが提供されていて、これは Stable Diffusion 1.5 用の ControlNet モデルに遜色ありません :

control_v11p_sd21_ade20k.safetensors
control_v11p_sd21_canny.safetensors
control_v11p_sd21_color.safetensors
control_v11p_sd21_depth.safetensors
control_v11p_sd21_hed.safetensors
control_v11p_sd21_lineart.safetensors
control_v11p_sd21_normalbae.safetensors
control_v11p_sd21_openpose.safetensors
control_v11p_sd21_openposev2.safetensors
control_v11p_sd21_scribble.safetensors
control_v11p_sd21_zoedepth.safetensors

チェックポイントは thibaud/controlnet-sd21 から取得して extensions/sd-webui-controlnet/models ディレクトリに配備します。

例えば、control_v11p_sd21_canny を利用したい場合には以下を実行します :

%cd /content/stable-diffusion-webui/extensions/sd-webui-controlnet/models/

!wget https://huggingface.co/thibaud/controlnet-sd21/resolve/main/control_v11p_sd21_canny.safetensors

 
Controlnet の個々のモデルの機能については以下を参照してください :

 

以上