SDXL : ComfyUI ControlNet (Canny)

by

SDXL 用の ControlNet モデルも幾つか公開されています。今回は Hugging Face Hub で利用可能な diffusers のモデルを試してみます。

SDXL : ComfyUI ControlNet (Canny)

作成 : Masashi Okumura (@ClassCat)
作成日時 : 10/13/2024

* サンプルコードの動作確認はしておりますが、必要な場合には適宜、追加改変しています。
* ご自由にリンクを張って頂いてかまいませんが、sales-info@classcat.com までご一報いただけると嬉しいです。

 

クラスキャット 人工知能 研究開発支援サービス ⭐️ リニューアルしました 😉

◆ クラスキャット は人工知能に関する各種サービスを提供しています。お気軽にご相談ください :

  • 人工知能導入個別相談会(無償)実施中！ [詳細]

  • 人工知能研究開発支援 [詳細]
    1. 自社特有情報を含むチャットボット構築支援
    2. 画像認識 (医療系含む) / 画像生成

  • PoC(概念実証)を失敗させないための支援 [詳細]

◆ お問合せ : 本件に関するお問合せは下記までお願いします。

  • クラスキャット セールス・インフォメーション
  • sales-info@classcat.com
  • ClassCatJP

 

 

SDXL : ComfyUI ControlNet (Canny)

SDXL 用の ControlNet モデルも幾つか公開されています。今回は Hugging Face Hub で利用可能な diffusers のモデルを試してみます。

 

Canny エッジ検出

Diffusers の ControlNet のチェックポイントは SDXL ControlNets で各種公開されています。

今回は Canny エッジ検出のために diffusers/controlnet-canny-sdxl-1.0 を使用してみます。
取得して ComfyUI/models/controlnet フォルダに配置すれば良いです。

ワークフローは通常の Stable Diffusion 用のものがそのまま利用できます。例えば ComfyUI_examples : ControlNet and T2I-Adapter Examples が参考になります。ロードすると次のようなワークフローが得られます :

そして次の入力画像に対して :


サンプリングを実行すると :

 

以上