Stable Diffusion WebUI (on Colab) : ControlNet (3) HED 境界

by

Stable Diffusion WebUI (on Colab) : ControlNet (3) HED 境界 (ブログ)

作成 : Masashi Okumura (@ClassCat)
作成日時 : 04/19/2023

* サンプルコードの動作確認はしておりますが、動作環境の違いやアップグレード等によりコードの修正が必要となるケースはあるかもしれません。
* ご自由にリンクを張って頂いてかまいませんが、sales-info@classcat.com までご一報いただけると嬉しいです。

 

クラスキャット 人工知能 研究開発支援サービス

◆ クラスキャット は人工知能・テレワークに関する各種サービスを提供しています。お気軽にご相談ください :

◆ 人工知能とビジネスをテーマに WEB セミナーを定期的に開催しています。スケジュール。
  • お住まいの地域に関係なく Web ブラウザからご参加頂けます。事前登録 が必要ですのでご注意ください。

◆ お問合せ : 本件に関するお問い合わせ先は下記までお願いいたします。

  • 株式会社クラスキャット セールス・マーケティング本部 セールス・インフォメーション
  • sales-info@classcat.com  ;  Website: www.classcat.com  ;   ClassCatJP

 

 

Stable Diffusion WebUI (on Colab) : ControlNet (3) HED 境界

Stable Diffusion の研究は生成過程の結果に対して更に制御を持てる方法を模索してきました。ControlNet はユーザが生成過程をかなりカスタマイズすることを可能にする最小限のインターフェイスを提供します。ControlNet を使用して、ユーザは、深度マップ, セグメンテーション・マップ, 走り描き, キー・ポイント, 等々のような様々な空間的コンテキストにより生成を簡単に条件付けることができます。

この記事では Stable Diffusion WebUI で ControlNet を使用する方法について簡単に説明します。今回は HED 境界による条件付けを扱います。

 
前提条件 :

Stable Diffusion WebUI で ControlNet を試すには、別途 WebUI の動作環境が必要です。その構築方法については以下の 1 を参照してください :

  1. PyTorch 2.0 : Google Colab で Stable Diffusion WebUI 入門
  2. Stable Diffusion WebUI (on Colab) : HuggingFace モデル / VAE の導入
  3. Stable Diffusion WebUI (on Colab) : LoRA の利用
  4. Stable Diffusion WebUI (on Colab) : 🤗 Diffusers による LoRA 訓練
  5. Stable Diffusion WebUI (on Colab) : ControlNet (1) 深度マップ
  6. Stable Diffusion WebUI (on Colab) : ControlNet (2) Canny エッジ検出

なお、深度マップ, Canny エッジ検出による ControlNet の使い方についてはそれぞれ 5, 6 を参照してください。

 

HED 境界

ControlNet は Canny エッジによる検出画像を利用できましたが、HED 境界も利用できます。HED は Holistically-Nested Edge Detection by Saining Xie, Zhuowen Tu (2015/04) で紹介され、その実装 s9xie/hed も併せて公開されています。

lllyasviel/ControlNet#controlnet-with-hed-boundary によれば ControlNet の作者は HED の再実装 sniklaus/pytorch-hed を利用したようですが、ここではオリジナル実装を利用してみます。

 

準備

オリジナル実装は Caffe で実装されていますので、OpenCV の dnn モジュール を利用して実行することにします :

!pip install -qq opencv-contrib-python

レポジトリを “git clone” し、更に公開されているモデルチェックポイントを取得します :

!git clone https://github.com/s9xie/hed/

!wget https://vcl.ucsd.edu/hed/hed_pretrained_bsds.caffemodel

次にサンプル画像 :

!wget http://images.cocodataset.org/val2017/000000039769.jpg -O cats.jpg

 

モデルのロードと検出の実行

まず、プロトテキストとモデルを指定して readNetFromCaffe でモデルをロードします :

import cv2

net = cv2.dnn.readNetFromCaffe("/content/hed/examples/hed/deploy.prototxt", "/content/hed_pretrained_bsds.caffemodel")

そしてサンプル画像を入力として、モデルを実行します :

from google.colab.patches import cv2_imshow

img = cv2.imread("cats.jpg")
(H, W) = img.shape[:2]
blob = cv2.dnn.blobFromImage(img, scalefactor=1.0, size=(W, H), swapRB=False, crop=False)

net.setInput(blob)
hed = net.forward()
hed = cv2.resize(hed[0, 0], (W, H))
hed = (255 * hed).astype("uint8")

cv2_imshow(hed)

参考として以下は Canny エッジ検出結果になりますが、(閾値に工夫の余地があるとしても) HED 境界画像のほうがノイズが遙かに少ないことがわかります :

 

ControlNet 用拡張ライブラリのインストール

Stable Diffusion WebUI で ControlNet を利用するためには、必要な拡張ライブラリとモデルチェックポイントのインストールが必要です。Stable Diffusion WebUI の構築は完了しているものとします。

◇ まず、ControlNet 用の WebUI 拡張 Mikubill/sd-webui-controlnet をインストールします。この拡張は、ControlNet を元の Stable Diffusion モデルに追加することを WebUI に可能にします。

この拡張は WebUI からでもインストールできますが、extensions ディレクトリに “git clone” すれば簡単です :

%cd /content/stable-diffusion-webui/extensions/

!git clone https://github.com/Mikubill/sd-webui-controlnet

 
◇ そして、lllyasviel/ControlNet のモデルチェックポイントを extensions/sd-webui-controlnet/models に配備します。ここでは safetensors 形式に変換されたチェックポイントを使用しています :

%cd /content/stable-diffusion-webui/extensions/sd-webui-controlnet/models/

!wget https://huggingface.co/webui/ControlNet-modules-safetensors/resolve/main/control_canny-fp16.safetensors
!wget https://huggingface.co/webui/ControlNet-modules-safetensors/resolve/main/control_depth-fp16.safetensors
!wget https://huggingface.co/webui/ControlNet-modules-safetensors/resolve/main/control_hed-fp16.safetensors
!wget https://huggingface.co/webui/ControlNet-modules-safetensors/resolve/main/control_mlsd-fp16.safetensors
!wget https://huggingface.co/webui/ControlNet-modules-safetensors/resolve/main/control_normal-fp16.safetensors
!wget https://huggingface.co/webui/ControlNet-modules-safetensors/resolve/main/control_openpose-fp16.safetensors
!wget https://huggingface.co/webui/ControlNet-modules-safetensors/resolve/main/control_scribble-fp16.safetensors
!wget https://huggingface.co/webui/ControlNet-modules-safetensors/resolve/main/control_seg-fp16.safetensors

今回は HED 境界を扱いますので、以下だけでも十分です :

%cd /content/stable-diffusion-webui/extensions/sd-webui-controlnet/models/

!wget https://huggingface.co/webui/ControlNet-modules-safetensors/resolve/main/control_hed-fp16.safetensors

 

WebUI での ControlNet (HED 境界) の使用方法

基本的な使い方は簡単です。(“Seed” のすぐ下の) “ControlNet” をクリックすると、ControlNet の設定に必要な UI が展開されます :

 
最小限必要な設定は以下です :

  • HED 境界画像のアップロード
  • “Enable” ボタンをクリックして有効にする。
  • Preprocessor を “softedge_hed” に設定します。
  • Model として “control_hed-fp16” を選択します。

以上を設定した上で、例えばプロンプトを “two cats sleeping on blanket” として “Generate” ボタンをクリックすれば画像生成されます :

 

以上