HuggingFace Diffusers 0.12 : Get Started : Diffusers (翻訳/解説)

翻訳 : (株)クラスキャット セールスインフォメーション
作成日時 : 02/04/2023 (v0.12.1)

* 本ページは、HuggingFace Diffusers の以下のドキュメントを翻訳した上で適宜、補足説明したものです：

• Get Started : Diffusers

* サンプルコードの動作確認はしておりますが、必要な場合には適宜、追加改変しています。
* ご自由にリンクを張って頂いてかまいませんが、sales-info@classcat.com までご一報いただけると嬉しいです。

HuggingFace Diffusers 0.12 : Get Started : 🧨 Diffusers

🤗 Diffusers は事前訓練済みビジョン & 音声拡散モデルを提供し、そして推論と訓練のためのモジュール式ツールボックスとして機能します。

より正確には、🤗 Diffusers は以下を提供します :

• 最先端の拡散パイプライン、これは数行のコードだけで推論を実行できます (Using Diffusers 参照)。あるいは パイプライン を見て総てのサポートされるパイプラインと対応する論文の概要を得てください。
  

• 様々なノイズスケジューラ、これは推論において望ましいスピード vs. 品質のトレードオフのために交換可能に使用できます。詳細は スケジューラ を参照してください。
  

• UNet のような複数のタイプのモデルは end-to-end な拡散システムのビルディングブロックとして使用できます。詳細は モデル を参照してください。
  

• 最もポピュラーな拡散モデル・タスクを訓練する方法を示す訓練サンプル。詳細は 訓練 を参照してください。

🧨 Diffusers パイプライン

以下のテーブルは総ての公式にサポートされているパイプライン、対応する論文、そして (利用可能なら) それらを直接試すための colab ノートブックをまとめてあります。

• alt_diffusion – 画像-to-画像変換テキスト誘導生成
  AltDiffusion (2022/11)

• audio_diffusion – 条件なし音声生成 – Colab
  Audio Diffusio

• cycle_diffusion – 画像-to-画像変換テキスト誘導生成
  Cycle Diffusion (2020/10)

• dance_diffusion – 条件なし音声生成
  Dance Diffusion

• ddpm – 条件なし画像生成
  Denoising Diffusion Probabilistic Models (2020/06 ; ノイズ除去拡散確率モデル)

• ddim – 条件なし画像生成 – Colab
  Denoising Diffusion Implicit Models (2020/10 ; ノイズ除去拡散暗黙モデル)

• latent_diffusion – テキスト-to-画像生成
  High-Resolution Image Synthesis with Latent Diffusion Models (2021/12 ; 潜在拡散モデルによる高解像度画像合成)

• latent_diffusion – 超解像度画像-to-画像変換
  High-Resolution Image Synthesis with Latent Diffusion Models (2021/12 ; 潜在拡散モデルによる高解像度画像合成)

• latent_diffusion_uncond – 条件なし画像生成
  High-Resolution Image Synthesis with Latent Diffusion Models

• paint_by_example – 画像誘導画像インペインティング
  Paint by Example: Exemplar-based Image Editing with Diffusion Models (2022/11)

• pndm – 条件なし画像生成
  Pseudo Numerical Methods for Diffusion Models on Manifolds (2022/02)

• score_sde_ve – 条件なし画像生成
  Score-Based Generative Modeling through Stochastic Differential Equations (2020/09 ; 確率微分方程式によるスコアベース生成モデリング)

• score_sde_vp (訳注: リンク切れ) – 条件なし画像生成
  Score-Based Generative Modeling through Stochastic Differential Equations (2020/09 ; 確率微分方程式によるスコアベース生成モデリング)

• stable_diffusion – テキスト-to-画像生成 – Colab
  Stable Diffusion (2022/08)

• stable_diffusion – 画像-to-画像 テキスト誘導 生成 – Colab
  Stable Diffusion (2022/08)

• stable_diffusion – テキスト誘導 画像インペインティング – Colab
  Stable Diffusion (2022/08)

• stable_diffusion_2 – テキスト-to-画像生成
  Stable Diffusion 2

• stable_diffusion_2 – テキスト誘導画像インペインティング
  Stable Diffusion 2

• stable_diffusion_2 – テキスト誘導超解像度画像-to-画像変換
  Stable Diffusion 2

• stable_diffusion_safe – テキスト誘導生成 – Colab
  Safe Stable Diffusion

• stochastic_karras_ve – 条件なし画像生成
  Elucidating the Design Space of Diffusion-Based Generative Models (2022/06)

• unclip – テキスト-to-画像生成
  Hierarchical Text-Conditional Image Generation with CLIP Latents (2022/04)

• versatile_diffusion – テキスト-to-画像生成
  Versatile Diffusion: Text, Images and Variations All in One Diffusion Model (2022/11)

• versatile_diffusion – 画像バリエーション生成
  Versatile Diffusion: Text, Images and Variations All in One Diffusion Model (2022/11)

• versatile_diffusion – Dual 画像 & テキスト誘導生成
  Versatile Diffusion: Text, Images and Variations All in One Diffusion Model (2022/11)

• vq_diffusion – テキスト-to-画像生成
  Vector Quantized Diffusion Model for Text-to-Image Synthesis (2021/11)

Note: Pipelines are simple examples of how to play around with the diffusion systems as described in the corresponding papers.

以上