HuggingFace Diffusers 0.10 : リリースノート – 深度ガイダンスとより安全なチェックポイント

by

HuggingFace Diffusers 0.10 : リリースノート – 深度ガイダンスとより安全なチェックポイント (翻訳/解説)

翻訳 : (株)クラスキャット セールスインフォメーション
作成日時 : 02/03/2023 (v0.10.0 – 12/09/2022)

* 本ページは、HuggingFace Diffusers の以下のドキュメントを翻訳した上で適宜、補足説明したものです：

* サンプルコードの動作確認はしておりますが、必要な場合には適宜、追加改変しています。
* ご自由にリンクを張って頂いてかまいませんが、sales-info@classcat.com までご一報いただけると嬉しいです。

 

クラスキャット 人工知能 研究開発支援サービス

◆ クラスキャット は人工知能・テレワークに関する各種サービスを提供しています。お気軽にご相談ください :

◆ 人工知能とビジネスをテーマに WEB セミナーを定期的に開催しています。スケジュール。
  • お住まいの地域に関係なく Web ブラウザからご参加頂けます。事前登録 が必要ですのでご注意ください。

◆ お問合せ : 本件に関するお問い合わせ先は下記までお願いいたします。

  • 株式会社クラスキャット セールス・マーケティング本部 セールス・インフォメーション
  • sales-info@classcat.com  ;  Web: www.classcat.com  ;   ClassCatJP

 

 

HuggingFace Diffusers 0.10 : リリースノート – 深度ガイダンスとより安全なチェックポイント

🐳 深度誘導 Stable Diffusion と 2.1 チェックポイント

新しい深度誘導 stable diffusion モデルがこのリリースで完全にサポートされます。このモデルは MiDaS により推論される単眼深度推定上で条件付けされ、構造を保持する img2img と shape-conditional 合成のために使用されます。

Installing the transformers library from source is required for the MiDaS model:

pip install --upgrade git+https://github.com/huggingface/transformers/

import torch
import requests
from PIL import Image
from diffusers import StableDiffusionDepth2ImgPipeline

pipe = StableDiffusionDepth2ImgPipeline.from_pretrained(
   "stabilityai/stable-diffusion-2-depth",
   torch_dtype=torch.float16,
).to("cuda")

url = "http://images.cocodataset.org/val2017/000000039769.jpg"
init_image = Image.open(requests.get(url, stream=True).raw)

prompt = "two tigers"
n_propmt = "bad, deformed, ugly, bad anotomy"
image = pipe(prompt=prompt, image=init_image, negative_prompt=n_propmt, strength=0.7).images[0]

The updated Stable Diffusion 2.1 checkpoints are also released and fully supported:

 

🦺 Safe Tensors

SafeTensors をサポートしました : テンソルを (pickle と比較して) 安全にストアするための新しい単純な形式で、これは高速です (zero-copy)。

  • [Proposal] Support loading from safetensors if file is present. by @Narsil in #1357
  • [Proposal] Support saving to safetensors by @MatthieuBizien in #1494

**More details about the comparison here: https://github.com/huggingface/safetensors#yet-another-format-

pip install safetensors

from diffusers import StableDiffusionPipeline

pipe = StableDiffusionPipeline.from_pretrained("stabilityai/stable-diffusion-2-1")
pipe.save_pretrained("./safe-stable-diffusion-2-1", safe_serialization=True)

# you can also push this checkpoint to the HF Hub and load from there
safe_pipe = StableDiffusionPipeline.from_pretrained("./safe-stable-diffusion-2-1")

 

新しいパイプライン

🖌️ Paint-by-example

An implementation of Paint by Example: Exemplar-based Image Editing with Diffusion Models by Binxin Yang, Shuyang Gu, Bo Zhang, Ting Zhang, Xuejin Chen, Xiaoyan Sun, Dong Chen, Fang Wen

  • Add paint by example by @patrickvonplaten in #1533 

import PIL
import requests
import torch
from io import BytesIO
from diffusers import DiffusionPipeline

def download_image(url):
    response = requests.get(url)
    return PIL.Image.open(BytesIO(response.content)).convert("RGB")

img_url = "https://raw.githubusercontent.com/Fantasy-Studio/Paint-by-Example/main/examples/image/example_1.png"
mask_url = "https://raw.githubusercontent.com/Fantasy-Studio/Paint-by-Example/main/examples/mask/example_1.png"
example_url = "https://raw.githubusercontent.com/Fantasy-Studio/Paint-by-Example/main/examples/reference/example_1.jpg"

init_image = download_image(img_url).resize((512, 512))
mask_image = download_image(mask_url).resize((512, 512))
example_image = download_image(example_url).resize((512, 512))

pipe = DiffusionPipeline.from_pretrained("Fantasy-Studio/Paint-by-Example", torch_dtype=torch.float16)
pipe = pipe.to("cuda")

image = pipe(image=init_image, mask_image=mask_image, example_image=example_image).images[0]

 

音声拡散と潜在的音声拡散

音声拡散は、音声サンプルをメルスペクトログラム画像を相互に変換することで、拡散モデルを使用した画像生成の最近の進歩を活用しています。

  • add AudioDiffusionPipeline and LatentAudioDiffusionPipeline #1334 by @teticio in #1426 
from IPython.display import Audio
from diffusers import DiffusionPipeline

pipe = DiffusionPipeline.from_pretrained("teticio/audio-diffusion-ddim-256").to("cuda")

output = pipe()
display(output.images[0])
display(Audio(output.audios[0], rate=pipe.mel.get_sample_rate()))

 

[Experimental] K-Diffusion パイプライン for Stable Diffusion

このパイプラインは @crowsonkb の k-diffusion の最新のスケジューラをサポートするために追加されています。このパイプラインの目的はスケジューラ実装と更新を比較することですので、他のパイプラインの新しい機能はサポートされる可能性は低いです！

  • [K Diffusion] Add k diffusion sampler natively by @patrickvonplaten in #1603 
pip install k-diffusion

from diffusers import StableDiffusionKDiffusionPipeline
import torch

pipe = StableDiffusionKDiffusionPipeline.from_pretrained("stabilityai/stable-diffusion-2-1-base")
pipe = pipe.to("cuda")

pipe.set_scheduler("sample_heun")
image = pipe("astronaut riding horse", num_inference_steps=25).images[0]

 

新しいスケジューラ

Karras et. al によりインスパイアされた Heun スケジューラ

@crowsonkb の k-diffusion からポートされた Karras et. al. スケジューラのアルゴリズム 1

  • Add 2nd order heun scheduler by @patrickvonplaten in #1336 
from diffusers import HeunDiscreteScheduler

pipe = StableDiffusionPipeline.from_pretrained("stabilityai/stable-diffusion-2-1")
pipe.scheduler = HeunDiscreteScheduler.from_config(pipe.scheduler.config)

 

単一ステップ DPM-Solver

オリジナル論文は ここ で見つかります、そして 改良版。オリジナル実装は ここ で見つかります。

  • Add Singlestep DPM-Solver (singlestep high-order schedulers) by @LuChengTHU in #1442 
from diffusers import DPMSolverSinglestepScheduler

pipe = StableDiffusionPipeline.from_pretrained("stabilityai/stable-diffusion-2-1")
pipe.scheduler = DPMSolverSinglestepScheduler.from_config(pipe.scheduler.config)

 

以上