Stable Diffusion WebUI (on Colab) : ControlNet (8) セグメンテーション (ブログ)

作成 : Masashi Okumura (@ClassCat)
作成日時 : 04/25/2023

* サンプルコードの動作確認はしておりますが、動作環境の違いやアップグレード等によりコードの修正が必要となるケースはあるかもしれません。
* ご自由にリンクを張って頂いてかまいませんが、sales-info@classcat.com までご一報いただけると嬉しいです。

 

 

 

Stable Diffusion WebUI (on Colab) : ControlNet (8) セグメンテーション

Stable Diffusion の研究は生成過程の結果に対して更に制御を持てる方法を模索してきました。ControlNet はユーザが生成過程をかなりカスタマイズすることを可能にする最小限のインターフェイスを提供します。ControlNet を使用して、ユーザは、深度マップ, セグメンテーション・マップ, 走り描き, キー・ポイント, 等々のような様々な空間的コンテキストにより生成を簡単に条件付けることができます。

この記事では Stable Diffusion WebUI で ControlNet を使用する方法について簡単に説明します。今回はセグメンテーション・マップによる条件付けを扱います。

 
前提条件 :

Stable Diffusion WebUI で ControlNet を試すには、別途 WebUI の動作環境が必要です。その構築方法については以下の 1 を参照してください :

1. PyTorch 2.0 : Google Colab で Stable Diffusion WebUI 入門
2. Stable Diffusion WebUI (on Colab) : HuggingFace モデル / VAE の導入
3. Stable Diffusion WebUI (on Colab) : LoRA の利用
4. Stable Diffusion WebUI (on Colab) : 🤗 Diffusers による LoRA 訓練
5. Stable Diffusion WebUI (on Colab) : ControlNet (1) 深度マップ
6. Stable Diffusion WebUI (on Colab) : ControlNet (2) Canny エッジ検出
7. Stable Diffusion WebUI (on Colab) : ControlNet (3) HED 境界
8. Stable Diffusion WebUI (on Colab) : ControlNet (4) M-LSD (線分検出)
9. Stable Diffusion WebUI (on Colab) : ControlNet (5) 法線マップ
10. Stable Diffusion WebUI (on Colab) : ControlNet (6) OpenPose
11. Stable Diffusion WebUI (on Colab) : ControlNet (7) Scribble

 

ControlNet 用拡張ライブラリのインストール

Stable Diffusion WebUI で ControlNet を利用するためには、必要な拡張ライブラリとモデルチェックポイントのインストールが必要です。Stable Diffusion WebUI の構築は完了しているものとします。

◇ まず、ControlNet 用の WebUI 拡張 Mikubill/sd-webui-controlnet をインストールします。この拡張は、ControlNet を元の Stable Diffusion モデルに追加することを WebUI に可能にします。

この拡張は WebUI からでもインストールできますが、extensions ディレクトリに “git clone” すれば簡単です :

%cd /content/stable-diffusion-webui/extensions/

!git clone https://github.com/Mikubill/sd-webui-controlnet

 
◇ そして、lllyasviel/ControlNet のモデルチェックポイントを extensions/sd-webui-controlnet/models に配備します。ここでは safetensors 形式に変換されたチェックポイントを使用しています :

%cd /content/stable-diffusion-webui/extensions/sd-webui-controlnet/models/

!wget https://huggingface.co/webui/ControlNet-modules-safetensors/resolve/main/control_canny-fp16.safetensors
!wget https://huggingface.co/webui/ControlNet-modules-safetensors/resolve/main/control_depth-fp16.safetensors
!wget https://huggingface.co/webui/ControlNet-modules-safetensors/resolve/main/control_hed-fp16.safetensors
!wget https://huggingface.co/webui/ControlNet-modules-safetensors/resolve/main/control_mlsd-fp16.safetensors
!wget https://huggingface.co/webui/ControlNet-modules-safetensors/resolve/main/control_normal-fp16.safetensors
!wget https://huggingface.co/webui/ControlNet-modules-safetensors/resolve/main/control_openpose-fp16.safetensors
!wget https://huggingface.co/webui/ControlNet-modules-safetensors/resolve/main/control_scribble-fp16.safetensors
!wget https://huggingface.co/webui/ControlNet-modules-safetensors/resolve/main/control_seg-fp16.safetensors

今回はセグメンテーション・マップを扱いますので、以下だけでも十分です :

%cd /content/stable-diffusion-webui/extensions/sd-webui-controlnet/models/

!wget https://huggingface.co/webui/ControlNet-modules-safetensors/resolve/main/control_seg-fp16.safetensors

 

セグメンテーション・マップ

ControlNet はセグメンテーション・マップも利用できます。以下の画像例は HuggingFace Diffusers 0.12 : ノートブック : ControlNet から引用しています :

プロンプト	元画像	条件付け
“big house”

もちろんセグメンテーション・マップを自分で用意することも簡単です。画像セグメンテーションのタスクに対応しているモデルは多いですが、ここでは facebook/detr-resnet-50-panoptic を利用しました。具体的な使用方法はモデルカードの “How to use” を参照してください :

元画像

セグメンテーション・マップ

セグメンテーションマップは facebook/detr-resnet-50-panoptic の予測結果を適当に色分けしました。

 

WebUI での ControlNet : セグメンテーション・マップの使用方法

◇ 基本的な使い方は簡単です。(“Seed” のすぐ下の) “ControlNet” をクリックすると、ControlNet の設定に必要な UI が展開されます :

 
最小限必要な設定は以下です :

• セグメンテーション・マップ画像のアップロード
• “Enable” ボタンをクリックして有効にする。
• Preprocessor は必要ありませんので、”none” を選択します。(Preprocessor はポピュラーなセグメンテーション用データセットに対応しています)
• Model として “control_seg-fp16” を選択します。

以上を設定した上で、例えばプロンプトを “suburban villa near the beach on sunny day” として “Generate” ボタンをクリックすれば画像生成されます :

以上