HuggingFace Diffusers 0.18 : リリースノート – Shap-E, Consistency Models, Video2Video (翻訳/解説)

翻訳 : (株)クラスキャット セールスインフォメーション
作成日時 : 07/07/2023 (v0.18.0 – 07/07/2023)

* 本ページは、HuggingFace Diffusers の以下のドキュメントを翻訳した上で適宜、補足説明したものです：

• v0.18.0 : Shap-E, Consistency Models, Video2Video

* サンプルコードの動作確認はしておりますが、必要な場合には適宜、追加改変しています。
* ご自由にリンクを張って頂いてかまいませんが、sales-info@classcat.com までご一報いただけると嬉しいです。

 

 

 

HuggingFace Diffusers 0.18 : リリースノート – Shap-E, Consistency Models, Video2Video

Shap-E

Shap-E は Shap-E: Generating Conditional 3D Implicit Functions で紹介された OpenAI の 3D 画像生成モデルです。

私たちは Diffusers から text-to-3d 画像生成と 2d-to-3d 画像生成をサポートしています。

 

Text to 3D

import torch
from diffusers import ShapEPipeline
from diffusers.utils import export_to_gif

ckpt_id = "openai/shap-e"
pipe = ShapEPipeline.from_pretrained(ckpt_id).to("cuda")

guidance_scale = 15.0
prompt = "A birthday cupcake"
images = pipe(
    prompt,
    guidance_scale=guidance_scale,
    num_inference_steps=64,
    frame_size=256,
).images

gif_path = export_to_gif(images[0], "cake_3d.gif")

 

Image to 3D

import torch
from diffusers import ShapEImg2ImgPipeline
from diffusers.utils import export_to_gif, load_image

ckpt_id = "openai/shap-e-img2img"
pipe = ShapEImg2ImgPipeline.from_pretrained(ckpt_id).to("cuda")

img_url = "https://huggingface.co/datasets/hf-internal-testing/diffusers-images/resolve/main/shap_e/burger_in.png"
image = load_image(img_url)

generator = torch.Generator(device="cuda").manual_seed(0)
batch_size = 4
guidance_scale = 3.0

images = pipe(
    image, 
    num_images_per_prompt=batch_size, 
    generator=generator, 
    guidance_scale=guidance_scale,
    num_inference_steps=64, 
    size=256, 
    output_type="pil"
).images

gif_path = export_to_gif(images[0], "burger_sampled_3d.gif")

オリジナル画像

生成画像

詳細は、公式ドキュメント を確認してください。

The model was contributed by @yiyixuxu in #3742.

 

Consistency (一貫性) モデル

Consistency モデルは高速な 1 ステップまたは数ステップの画像生成をサポートする拡散モデルです。それは Consistency モデル で OpenAI により提案されました。

import torch

from diffusers import ConsistencyModelPipeline

device = "cuda"
# Load the cd_imagenet64_l2 checkpoint.
model_id_or_path = "openai/diffusers-cd_imagenet64_l2"
pipe = ConsistencyModelPipeline.from_pretrained(model_id_or_path, torch_dtype=torch.float16)
pipe.to(device)

# Onestep Sampling
image = pipe(num_inference_steps=1).images[0]
image.save("consistency_model_onestep_sample.png")

# Onestep sampling, class-conditional image generation
# ImageNet-64 class label 145 corresponds to king penguins
image = pipe(num_inference_steps=1, class_labels=145).images[0]
image.save("consistency_model_onestep_sample_penguin.png")

# Multistep sampling, class-conditional image generation
# Timesteps can be explicitly specified; the particular timesteps below are from the original Github repo.
# https://github.com/openai/consistency_models/blob/main/scripts/launch.sh#L77
image = pipe(timesteps=[22, 0], class_labels=145).images[0]
image.save("consistency_model_multistep_sample_penguin.png")

詳細は、公式ドキュメント を確認してください。

The model was contributed by our community members @dg845 and @ayushtues in #3492.

 

Video-to-Video

以前の動画生成パイプラインは透かしを生成する傾向がありました、それらの透かしが事前訓練データセットに存在していたからです。以下のチェックポイントの最新の追加により、透かしのない動画を生成できるようになりました :

• cerspense/zeroscope_v2_576w
• cerspense/zeroscope_v2_XL

import torch
from diffusers import DiffusionPipeline
from diffusers.utils import export_to_video

pipe = DiffusionPipeline.from_pretrained("cerspense/zeroscope_v2_576w", torch_dtype=torch.float16)
pipe.enable_model_cpu_offload()

# memory optimization
pipe.unet.enable_forward_chunking(chunk_size=1, dim=1)
pipe.enable_vae_slicing()

prompt = "Darth Vader surfing a wave"
video_frames = pipe(prompt, num_frames=24).frames
video_path = export_to_video(video_frames)

詳細は、公式ドキュメント を確認してください。

It was contributed by @patrickvonplaten in #3900.

以上