Stable Diffusion WebUI (on Colab) : ControlNet (4) M-LSD (線分検出) (ブログ)
作成 : Masashi Okumura (@ClassCat)
作成日時 : 04/20/2023
* サンプルコードの動作確認はしておりますが、動作環境の違いやアップグレード等によりコードの修正が必要となるケースはあるかもしれません。
* ご自由にリンクを張って頂いてかまいませんが、sales-info@classcat.com までご一報いただけると嬉しいです。
- 人工知能研究開発支援
- 人工知能研修サービス(経営者層向けオンサイト研修)
- テクニカルコンサルティングサービス
- 実証実験(プロトタイプ構築)
- アプリケーションへの実装
- 人工知能研修サービス
- PoC(概念実証)を失敗させないための支援
- お住まいの地域に関係なく Web ブラウザからご参加頂けます。事前登録 が必要ですのでご注意ください。
◆ お問合せ : 本件に関するお問い合わせ先は下記までお願いいたします。
- 株式会社クラスキャット セールス・マーケティング本部 セールス・インフォメーション
- sales-info@classcat.com ; Website: www.classcat.com ; ClassCatJP
Stable Diffusion WebUI (on Colab) : ControlNet (4) M-LSD (線分検出)
Stable Diffusion の研究は生成過程の結果に対して更に制御を持てる方法を模索してきました。ControlNet はユーザが生成過程をかなりカスタマイズすることを可能にする最小限のインターフェイスを提供します。ControlNet を使用して、ユーザは、深度マップ, セグメンテーション・マップ, 走り描き, キー・ポイント, 等々のような様々な空間的コンテキストにより生成を簡単に条件付けることができます。
この記事では Stable Diffusion WebUI で ControlNet を使用する方法について簡単に説明します。今回は M-LSD (線分検出) による条件付けを扱います。
前提条件 :
Stable Diffusion WebUI で ControlNet を試すには、別途 WebUI の動作環境が必要です。その構築方法については以下の 1 を参照してください :
- PyTorch 2.0 : Google Colab で Stable Diffusion WebUI 入門
- Stable Diffusion WebUI (on Colab) : HuggingFace モデル / VAE の導入
- Stable Diffusion WebUI (on Colab) : LoRA の利用
- Stable Diffusion WebUI (on Colab) : 🤗 Diffusers による LoRA 訓練
- Stable Diffusion WebUI (on Colab) : ControlNet (1) 深度マップ
- Stable Diffusion WebUI (on Colab) : ControlNet (2) Canny エッジ検出
- Stable Diffusion WebUI (on Colab) : ControlNet (3) HED 境界
なお、深度マップ, Canny エッジ検出, そして HED 境界による ControlNet の使い方についてはそれぞれ 5, 6 と 7 を参照してください。
M-LSD (線分検出)
ControlNet は M-LSD (線分検出) も利用できます。M-LSD は比較的最近の論文 Towards Light-weight and Real-time Line Segment Detection by Geonmo Gu, Byungsoo Ko, SeoungHyun Go, Sung-Hyun Lee, Jingeun Lee, Minchul Shin (2021/06) で紹介されました。
実装は公式 TensorFlow 版と PyTorch 版があります :
- 公式 TensorFlow 実装 navervision/mlsd
- PyTorch 実装 lhwcv/mlsd_pytorch
どちらを使用しても良いのですが、公式 TensorFlow 実装に Gradio をユーザインターフェイスとして使用した Colab ノートブック が用意されていましたので、それをそのまま利用しました。例として :
元画像
M-LSD 検出画像
ControlNet 用拡張ライブラリのインストール
Stable Diffusion WebUI で ControlNet を利用するためには、必要な拡張ライブラリとモデルチェックポイントのインストールが必要です。Stable Diffusion WebUI の構築は完了しているものとします。
◇ まず、ControlNet 用の WebUI 拡張 Mikubill/sd-webui-controlnet をインストールします。この拡張は、ControlNet を元の Stable Diffusion モデルに追加することを WebUI に可能にします。
この拡張は WebUI からでもインストールできますが、extensions ディレクトリに “git clone” すれば簡単です :
%cd /content/stable-diffusion-webui/extensions/
!git clone https://github.com/Mikubill/sd-webui-controlnet
◇ そして、lllyasviel/ControlNet のモデルチェックポイントを extensions/sd-webui-controlnet/models に配備します。ここでは safetensors 形式に変換されたチェックポイントを使用しています :
%cd /content/stable-diffusion-webui/extensions/sd-webui-controlnet/models/
!wget https://huggingface.co/webui/ControlNet-modules-safetensors/resolve/main/control_canny-fp16.safetensors
!wget https://huggingface.co/webui/ControlNet-modules-safetensors/resolve/main/control_depth-fp16.safetensors
!wget https://huggingface.co/webui/ControlNet-modules-safetensors/resolve/main/control_hed-fp16.safetensors
!wget https://huggingface.co/webui/ControlNet-modules-safetensors/resolve/main/control_mlsd-fp16.safetensors
!wget https://huggingface.co/webui/ControlNet-modules-safetensors/resolve/main/control_normal-fp16.safetensors
!wget https://huggingface.co/webui/ControlNet-modules-safetensors/resolve/main/control_openpose-fp16.safetensors
!wget https://huggingface.co/webui/ControlNet-modules-safetensors/resolve/main/control_scribble-fp16.safetensors
!wget https://huggingface.co/webui/ControlNet-modules-safetensors/resolve/main/control_seg-fp16.safetensors
今回は M-LSD (線分検出) を扱いますので、以下だけでも十分です :
%cd /content/stable-diffusion-webui/extensions/sd-webui-controlnet/models/
!wget https://huggingface.co/webui/ControlNet-modules-safetensors/resolve/main/control_mlsd-fp16.safetensors
WebUI での ControlNet (M-LSD 線分検出) の使用方法
基本的な使い方は簡単です。(“Seed” のすぐ下の) “ControlNet” をクリックすると、ControlNet の設定に必要な UI が展開されます :
最小限必要な設定は以下です :
- M-LSD (線分検出) 画像のアップロード
- “Enable” ボタンをクリックして有効にする。
- Preprocessor を “mlsd” に設定します。
- Model として “control_mlsd-fp16” を選択します。
以上を設定した上で、例えばプロンプトを “laboratory” として “Generate” ボタンをクリックすれば画像生成されます :
以上