FLUX.1 : Colab / ComfyUI による高品質な画像生成

by

Hugging Face で Black Forest Labs が公開した FLUX.1 dev & schnell 完全版を利用して Google Colab 上 ComfyUI で高品質な画像を生成してみます。

FLUX.1 : Colab / ComfyUI による高品質な画像生成

作成 : Masashi Okumura (@ClassCat)
作成日時 : 08/12/2024

* 本記事の作成には comfyanonymous.github.io/ComfyUI_examples の以下のページを参考にしています :

* サンプルコードの動作確認はしておりますが、必要な場合には適宜、追加改変しています。
* ご自由にリンクを張って頂いてかまいませんが、sales-info@classcat.com までご一報いただけると嬉しいです。

 

クラスキャット 人工知能 研究開発支援サービス ⭐️ リニューアルしました 😉

◆ クラスキャット は人工知能に関する各種サービスを提供しています。お気軽にご相談ください :

  • 人工知能導入個別相談会(無償)実施中！ [詳細]

  • 人工知能研究開発支援 [詳細]
    1. 自社特有情報を含むチャットボット構築支援
    2. 画像認識 (医療系含む) / 画像生成

  • PoC(概念実証)を失敗させないための支援 [詳細]

◆ お問合せ : 本件に関するお問合せは下記までお願いします。

  • クラスキャット セールス・インフォメーション
  • sales-info@classcat.com
  • ClassCatJP

 

 

FLUX.1 : Colab / ComfyUI による高品質な画像生成

前回は FLUX.1 による画像生成について、FLUX.1 : Colab / ComfyUI で FP8 精度の画像を簡単生成 という記事を公開しましたが、今回は Hugging Face で Black Forest Labs が公開した FLUX.1 dev & schnell 完全版を利用して Google Colab 上 ComfyUI で高品質な画像を生成してみます。

ComfyUI_examples : Flux Examples の Regular Full Version のセクションに従っています。

 

環境構築

Colab 上で ComfyUI を利用するには以下に従うだけですが、FLUX.1 完全版の配備についてはこの後のセクションで説明します :

※ ハードウェア・アクセラレータは L4 GPU でも動作しました。21+ GB ほど消費します。

 

CLIP

t5xxl_fp16.safetensors　あるいは　clip_l.safetensors　が ComfyUI/models/clip/ ディレクトリにまだない場合は、Hugging Face の comfyanonymous/flux_text_encoders からダウンロードして配置します。

※ t5xxl_fp16.safetensors と clip_l.safetensors の両方とも必要です。
※ メモリが十分でない場合には t5xxl_fp8_e4m3fn.safetensors を代わりに使用できますが、t5xxl_fp16.safetensors が推奨です。

 

VAE

VAE は black-forest-labs/FLUX.1-schnell にありますので、ダウンロードして ComfyUI/models/vae/ ディレクトリに配置します。

 

FLUX.1 Dev

Flux Dev 拡散モデルの重みは black-forest-labs/FLUX.1-dev にあります。flux1-dev.safetensors ファイルを ComfyUI/models/unet/ に配置してください。

前出の ComfyUI_examples : Flux Examples の Regular Full Version : Flux Dev にある画像を ComfyUI 上にドラッグ&ドロップすれば、以下のようなワークフローが得られます :

 

FLUX.1 Schnell

Flux Schnell は蒸留された (distilled) 4 ステップ・モデルです。

Flux Schnell 拡散モデルの重みは black-forest-labs/FLUX.1-schnell にあります。flux1-schnell.safetensors ファイルを ComfyUI/models/unet/ に配置してください。

前出の ComfyUI_examples : Flux Examples の Regular Full Version : Flux Schnell にある画像を ComfyUI 上にドラッグ&ドロップすれば、以下のようなワークフローが得られます :

 

以上