SDXL : ComfyUI による LoRA の適用

by

前回、SDXL の LoRA トレーニングを行いましたので、ComfyUI で適用してみます。

SDXL : ComfyUI による LoRA の適用

作成 : Masashi Okumura (@ClassCat)
作成日時 : 10/06/2024

* サンプルコードの動作確認はしておりますが、必要な場合には適宜、追加改変しています。
* ご自由にリンクを張って頂いてかまいませんが、sales-info@classcat.com までご一報いただけると嬉しいです。

 

クラスキャット 人工知能 研究開発支援サービス ⭐️ リニューアルしました 😉

◆ クラスキャット は人工知能に関する各種サービスを提供しています。お気軽にご相談ください :

  • 人工知能導入個別相談会(無償)実施中！ [詳細]

  • 人工知能研究開発支援 [詳細]
    1. 自社特有情報を含むチャットボット構築支援
    2. 画像認識 (医療系含む) / 画像生成

  • PoC(概念実証)を失敗させないための支援 [詳細]

◆ お問合せ : 本件に関するお問合せは下記までお願いします。

  • クラスキャット セールス・インフォメーション
  • sales-info@classcat.com
  • ClassCatJP

 

 

SDXL : ComfyUI による LoRA の適用

前回、SDXL の LoRA トレーニングを行いましたので、ComfyUI で適用してみます。(cf. SDXL : RunPod で LoRA トレーニング)

ComfyUI_examples の SDXL Examples のワークフローにノードを追加します。

 

環境構築

Colab 上で ComfyUI を利用するには以下に従うだけです。SDXL Base モデルの配備については後述します :

※ ハードウェア・アクセラレータは L4 GPU で動作します。

 

stable-diffusion-xl-base-1.0

SDXL ベースモデルは、Hugging Face の stabilityai/stable-diffusion-xl-base-1.0 から取得できます。ダウンロードして ComfyUI/models/checkpoints ディレクトリに配置します。

 

Refiner

“SDXL Examples” のワークフローは Refiner の使用を前提にしています。Refiner も Hugging Face の stabilityai/stable-diffusion-xl-refiner-1.0 から取得できます。ダウンロードしてやはり ComfyUI/models/checkpoints ディレクトリに配置します。

 

SDXL with LoRA ワークフロー

前出の ComfyUI_examples : SDXL Examples にある画像を ComfyUI 上にドラッグ&ドロップすれば、以下のようなワークフローが得られます :

そして “Load LoRA” ノードを追加するだけで、以下のようなワークフローが得られます :

サンプリング画像です :

 

以上