Stable Diffusion WebUI (on Colab) : ControlNet (7) Scribble

Stable Diffusion WebUI (on Colab) : ControlNet (7) Scribble (ブログ)

作成 : Masashi Okumura (@ClassCat)
作成日時 : 04/24/2023

* サンプルコードの動作確認はしておりますが、動作環境の違いやアップグレード等によりコードの修正が必要となるケースはあるかもしれません。
* ご自由にリンクを張って頂いてかまいませんが、sales-info@classcat.com までご一報いただけると嬉しいです。

 

クラスキャット 人工知能 研究開発支援サービス

クラスキャット は人工知能・テレワークに関する各種サービスを提供しています。お気軽にご相談ください :

◆ 人工知能とビジネスをテーマに WEB セミナーを定期的に開催しています。スケジュール
  • お住まいの地域に関係なく Web ブラウザからご参加頂けます。事前登録 が必要ですのでご注意ください。

お問合せ : 本件に関するお問い合わせ先は下記までお願いいたします。

  • 株式会社クラスキャット セールス・マーケティング本部 セールス・インフォメーション
  • sales-info@classcat.com  ;  Website: www.classcat.com  ;   ClassCatJP

 

 

Stable Diffusion WebUI (on Colab) : ControlNet (7) Scribble

Stable Diffusion の研究は生成過程の結果に対して更に制御を持てる方法を模索してきました。ControlNet はユーザが生成過程をかなりカスタマイズすることを可能にする最小限のインターフェイスを提供します。ControlNet を使用して、ユーザは、深度マップ, セグメンテーション・マップ, 走り描き, キー・ポイント, 等々のような様々な空間的コンテキストにより生成を簡単に条件付けることができます。

この記事では Stable Diffusion WebUI で ControlNet を使用する方法について簡単に説明します。今回は Scribble (落書き) による条件付けを扱います。

 
前提条件 :

Stable Diffusion WebUI で ControlNet を試すには、別途 WebUI の動作環境が必要です。その構築方法については以下の 1 を参照してください :

  1. PyTorch 2.0 : Google Colab で Stable Diffusion WebUI 入門
  2. Stable Diffusion WebUI (on Colab) : HuggingFace モデル / VAE の導入
  3. Stable Diffusion WebUI (on Colab) : LoRA の利用
  4. Stable Diffusion WebUI (on Colab) : 🤗 Diffusers による LoRA 訓練
  5. Stable Diffusion WebUI (on Colab) : ControlNet (1) 深度マップ
  6. Stable Diffusion WebUI (on Colab) : ControlNet (2) Canny エッジ検出
  7. Stable Diffusion WebUI (on Colab) : ControlNet (3) HED 境界
  8. Stable Diffusion WebUI (on Colab) : ControlNet (4) M-LSD (線分検出)
  9. Stable Diffusion WebUI (on Colab) : ControlNet (5) 法線マップ
  10. Stable Diffusion WebUI (on Colab) : ControlNet (6) OpenPose

 

ControlNet 用拡張ライブラリのインストール

Stable Diffusion WebUI で ControlNet を利用するためには、必要な拡張ライブラリとモデルチェックポイントのインストールが必要です。Stable Diffusion WebUI の構築は完了しているものとします。

◇ まず、ControlNet 用の WebUI 拡張 Mikubill/sd-webui-controlnet をインストールします。この拡張は、ControlNet を元の Stable Diffusion モデルに追加することを WebUI に可能にします。

この拡張は WebUI からでもインストールできますが、extensions ディレクトリに “git clone” すれば簡単です :

%cd /content/stable-diffusion-webui/extensions/

!git clone https://github.com/Mikubill/sd-webui-controlnet

 
◇ そして、lllyasviel/ControlNet のモデルチェックポイントを extensions/sd-webui-controlnet/models に配備します。ここでは safetensors 形式に変換されたチェックポイントを使用しています :

%cd /content/stable-diffusion-webui/extensions/sd-webui-controlnet/models/

!wget https://huggingface.co/webui/ControlNet-modules-safetensors/resolve/main/control_canny-fp16.safetensors
!wget https://huggingface.co/webui/ControlNet-modules-safetensors/resolve/main/control_depth-fp16.safetensors
!wget https://huggingface.co/webui/ControlNet-modules-safetensors/resolve/main/control_hed-fp16.safetensors
!wget https://huggingface.co/webui/ControlNet-modules-safetensors/resolve/main/control_mlsd-fp16.safetensors
!wget https://huggingface.co/webui/ControlNet-modules-safetensors/resolve/main/control_normal-fp16.safetensors
!wget https://huggingface.co/webui/ControlNet-modules-safetensors/resolve/main/control_openpose-fp16.safetensors
!wget https://huggingface.co/webui/ControlNet-modules-safetensors/resolve/main/control_scribble-fp16.safetensors
!wget https://huggingface.co/webui/ControlNet-modules-safetensors/resolve/main/control_seg-fp16.safetensors

今回は Scribble を扱いますので、以下だけでも十分です :

%cd /content/stable-diffusion-webui/extensions/sd-webui-controlnet/models/

!wget https://huggingface.co/webui/ControlNet-modules-safetensors/resolve/main/control_scribble-fp16.safetensors

 

WebUI での ControlNet : Scribble の使用方法

Scribble の例として、次の画像を使用します :

◇ 基本的な使い方は簡単です。(“Seed” のすぐ下の) “ControlNet” をクリックすると、ControlNet の設定に必要な UI が展開されます :

 
最小限必要な設定は以下です :

  • Scribble 画像のアップロード
  • “Enable” ボタンをクリックして有効にする。
  • Preprocessor は必要ありませんので、”none” を選択します。
  • Model として “control_scribble-fp16” を選択します。

以上を設定した上で、例えばプロンプトを “witch putting on a very big red hat with a black cat rides on a broomstick and flies in the starry sky” として “Generate” ボタンをクリックすれば画像生成されます :

 

以上