PyTorch 1.5 Tutorials : 画像 : DCGAN チュートリアル (翻訳/解説)
翻訳 : (株)クラスキャット セールスインフォメーション
作成日時 : 06/09/2020 (1.5.0)
* 本ページは、PyTorch 1.5 Tutorials の以下のページを翻訳した上で適宜、補足説明したものです:
- Image : DCGAN Tutorial
* サンプルコードの動作確認はしておりますが、必要な場合には適宜、追加改変しています。
* ご自由にリンクを張って頂いてかまいませんが、sales-info@classcat.com までご一報いただけると嬉しいです。
- お住まいの地域に関係なく Web ブラウザからご参加頂けます。事前登録 が必要ですのでご注意ください。
- Windows PC のブラウザからご参加が可能です。スマートデバイスもご利用可能です。
◆ お問合せ : 本件に関するお問い合わせ先は下記までお願いいたします。
株式会社クラスキャット セールス・マーケティング本部 セールス・インフォメーション |
E-Mail:sales-info@classcat.com ; WebSite: https://www.classcat.com/ |
Facebook: https://www.facebook.com/ClassCatJP/ |
画像 : DCGAN チュートリアル
イントロダクション
このチュートリアルはサンプルを通して DCGAN へのイントロダクションを与えます。多くの実際のセレブ (= celebrities, 有名人) の写真を見せた後で新しいセレブを生成するために敵対的生成ネットワーク (GAN, Generative Adversarial Network) を訓練します。ここでのコードの殆どは pytorch/examples の dcgan 実装からのもので、そしてこのドキュメントは実装の徹底的な説明を与えてこのモデルがどのようにそして何故動作するのかを明らかにします。しかし心配しないでください、GAN の事前知識は必要ありません、しかし内部で実際に何が起きているかについて納得するために初心者はある程度の時間を費やす必要があるかもしれません。また、時間 (節約) のために一つ、または 2 つの GPU を持つことが役立つでしょう。最初から始めましょう。
敵対的生成ネットワーク
What is a GAN?
GAN は訓練データの分布を捕捉することを DL モデルに教えるためのフレームワークですのでその同じ分布から新しいデータを生成できます。GAN は 2014 年に Ian Goodfellow により創案されてペーパー Generative Adversarial Nets で最初に説明されました。それらは 2 つの別個のモデル、generator と discriminator から成ります。generator のジョブは訓練画像のように見える ‘fake’ 画像を生むことです。discriminator のジョブは画像を見てそれが real 訓練画像か (generator からの) fake 画像かを出力することです。訓練の間、generator はより良い fake を生成することにより絶えず discriminator を出し抜こうとします、その一方で discriminator はより良い探偵になり real と fake 画像を正しく分類するために動作しています。このゲームの均衡は generator が訓練データに直接由来するかのように見えるパーフェクトな fake を生成しているとき、そして discriminator は generator 出力が real か fake か常に 50% の信頼度で推測する状態にされることです。
今は、discriminator から始める、チュートリアルを通して使用される幾つかの記法を定義しましょう。$x$ を画像を表わすデータとしましょう。\(D(x)\) は discriminator ネットワークで、これは \(x\) が generator ではなく訓練データに由来する (スカラー) 確率を出力します。ここでは、画像を扱っていますから \(D(x)\) への入力は CHW サイズ 3x64x64 の画像です。直感的には、\(x\) が訓練データに由来するときは \(D(x)\) は HIGH で、\(x\) が generator 由来であるときは LOW です。\(D(x)\) は伝統的な二値分類器として考えることもできます。
generator の記法については、\(z\) を標準正規分布からサンプリングされた潜在空間ベクトルとしましょう。\(G(z)\) は generator 関数を表します、これは潜在ベクトル \(z\) をデータ空間にマップします。\(G\) の目標は訓練データが由来する分布 (\(p_{data}\)) を推定することですからそれはその推定された分布 (\(p_g\)) からの fake サンプルを生成できます。
従って、\(D(G(z))\) は generator \(G\) の出力が real 画像である確率 (スカラー) です。Goodfellow のペーパー で記述されているように、\(D\) と \(G\) は minimax ゲームをプレーしていてそこでは \(D\) はそれが real と fake を正しく分類する確率 (\(logD(x)\)) を最大化することを試み、そして \(G\) は \(D\) がその出力が fake であると予測する確率 (\(log(1-D(G(x)))\)) を最小化しようとします。
ペーパーから、GAN 損失関数は :
\[
\underset{G}{\text{min}} \underset{D}{\text{max}}V(D,G) = \mathbb{E}_{x\sim p_{data}(x)}\big[logD(x)\big] + \mathbb{E}_{z\sim p_{z}(z)}\big[log(1-D(G(x)))\big]
\]
理論的には、この minimax ゲームへの解は \(p_g = p_{data}\) であるところで、discriminator は入力が real か fake かランダムに推測します。けれども、GAN の収束理論は依然として活発に研究されていて現実にはモデルは常にこのポイントまで訓練が進むわけではありません。
What is a DCGAN?
DCGAN は上で記述された GAN の直接的な拡張です、それが discriminator と generator でそれぞれ畳込みと転置畳込み (= convolutional-transpose) 層を明示的に使用することを除いてです。それは Radford et. al. によりペーパー Unsupervised Representation Learning With Deep Convolutional Generative Adversarial Networks で最初に説明されました。discriminator は strided 畳込み 層、 バッチ正規化 層そして LeakyReLU 活性から成ります。入力は 3x64x64 入力画像で出力は real データ分布からの入力であるスカラー確率です。generator は 転置畳込み 層、バッチ正規化層そして ReLU 活性から成ります。入力は潜在変数 $z$、これは標準正規分布からドローされます、そして出力は 3x64x64 RGB 画像です。strided 転置畳込み層は潜在ベクトルに画像と同じ shape を持つボリュームへと変換されることを可能にします。このペーパーでは、optimizer をどのようにセットアップするか、損失関数をどのように計算するか、そしてモデル重みをどのように初期化するかについて著者はまた幾つかの tips を与えています、その総てが次のセクションで説明されます。
from __future__ import print_function #%matplotlib inline import argparse import os import random import torch import torch.nn as nn import torch.nn.parallel import torch.backends.cudnn as cudnn import torch.optim as optim import torch.utils.data import torchvision.datasets as dset import torchvision.transforms as transforms import torchvision.utils as vutils import numpy as np import matplotlib.pyplot as plt import matplotlib.animation as animation from IPython.display import HTML # Set random seed for reproducibility manualSeed = 999 #manualSeed = random.randint(1, 10000) # use if you want new results print("Random Seed: ", manualSeed) random.seed(manualSeed) torch.manual_seed(manualSeed)
Random Seed: 999
入力
実行のための幾つか入力を定義しましょう :
- dataroot – データセット・フォルダのルートへのパス。次のセクションでデータセットについて更に話します。
- workers – DataLoader でデータをロードするためのワーカー・スレッドの数
- batch_size – 訓練で使用されるバッチサイズ。DCGAN ペーパーは 128 のバッチサイズを使用しています。
- image_size – 訓練のために使用される画像の空間サイズ。この実装は 64×64 をデフォルトとします。他のサイズが望まれる場合、D と G の構造は変更されなければなりません。より詳細は こちら を見てください。
- nc – 入力画像のカラーチャネルの数。カラー画像に対してはこれは 3 です。
- nz – 潜在ベクトルの長さ。
- ngf – generator を通して運ばれる特徴マップの深さに関連します。
- ndf – discriminator を通して伝播される特徴マップの深さを設定します。
- num_epochs – 実行する訓練エポックの数。より長い間の訓練は多分より良い結果につながるでしょうがまた遥かに長くかかります。
- lr – 訓練のための学習率。DCGAN ペーパーで記述されているように、この数字は 0.0002 であるべきです。
- beta1 – Adam optimizer のための beta1 ハイパーパラメータ。ペーパーで記述されているように、この数は 0.5 であるべきです。
- ngpu – 利用可能な GPU の数。これが 0 であれば、コードは CPU モードで動作します。この数が 0 より大きい場合にはそれはその数の GPU 上で動作します。
# Root directory for dataset dataroot = "data/celeba" # Number of workers for dataloader workers = 2 # Batch size during training batch_size = 128 # Spatial size of training images. All images will be resized to this # size using a transformer. image_size = 64 # Number of channels in the training images. For color images this is 3 nc = 3 # Size of z latent vector (i.e. size of generator input) nz = 100 # Size of feature maps in generator ngf = 64 # Size of feature maps in discriminator ndf = 64 # Number of training epochs num_epochs = 5 # Learning rate for optimizers lr = 0.0002 # Beta1 hyperparam for Adam optimizers beta1 = 0.5 # Number of GPUs available. Use 0 for CPU mode. ngpu = 1
データ
このチュートリアルでは Celeb-A Faces データセット を使用します、これはリンクされたサイトか Google Drive でダウンロードできます。データセットは img_align_celeba.zip という名前のファイルとしてダウンロードされます。ひとたびダウンロードされたら、celeba という名前のディレクトリを作成して zip ファイルをそのディレクトリに展開します。それからこの notebook のための datroot 入力を (ちょうど作成した) celeba ディレクトリに設定してください。結果としてのディレクトリ構造は以下のようになるはずです :
/path/to/celeba -> img_align_celeba -> 188242.jpg -> 173822.jpg -> 284702.jpg -> 537394.jpg ...
これは重要なステップです、何故ならば dataset の root フォルダにサブディレクトリがあることを必要とする ImageFolder dataset クラスを使用していくからです。今は、dataset を作成して、dataloader を作成して、その上で動作する device を設定してそして最後に訓練データの幾つかを可視化します。
# We can use an image folder dataset the way we have it setup. # Create the dataset dataset = dset.ImageFolder(root=dataroot, transform=transforms.Compose([ transforms.Resize(image_size), transforms.CenterCrop(image_size), transforms.ToTensor(), transforms.Normalize((0.5, 0.5, 0.5), (0.5, 0.5, 0.5)), ])) # Create the dataloader dataloader = torch.utils.data.DataLoader(dataset, batch_size=batch_size, shuffle=True, num_workers=workers) # Decide which device we want to run on device = torch.device("cuda:0" if (torch.cuda.is_available() and ngpu > 0) else "cpu") # Plot some training images real_batch = next(iter(dataloader)) plt.figure(figsize=(8,8)) plt.axis("off") plt.title("Training Images") plt.imshow(np.transpose(vutils.make_grid(real_batch[0].to(device)[:64], padding=2, normalize=True).cpu(),(1,2,0)))
実装
入力パラメータが設定されてデータセットが準備された今、実装に入ることができます。重み初期化ストラテジーから始めて、そして generator、discriminator、損失関数そして訓練ループについて詳細に語ります。
重み初期化
DCGAN ペーパーから、著者は総てのモデル重みは mean=0, stdev=0.02 を持つ正規分布からランダムに初期化されることを指定しています。weights_init 関数は入力として初期化されたモデルを取りそして総ての畳込み、転置畳込みそしてバッチ正規化層をこの規準を満たすように再初期化します。この関数は初期化後直ちにモデルに適用されます。
# custom weights initialization called on netG and netD def weights_init(m): classname = m.__class__.__name__ if classname.find('Conv') != -1: nn.init.normal_(m.weight.data, 0.0, 0.02) elif classname.find('BatchNorm') != -1: nn.init.normal_(m.weight.data, 1.0, 0.02) nn.init.constant_(m.bias.data, 0)
Generator
generator $G$ は潜在空間ベクトル ($z$) をデータ空間にマップするように設計されています。私達のデータは画像ですので、$z$ をデータ空間に変換することは究極的には訓練画像と同じサイズ (i.e. 3x64x64) を持つ RGB 画像を作成することを意味します。実際には、これは strided 2 次元転置畳込み層のシリーズを通して達成されます、各々は 2d バッチ正規化層と relu 活性と組み合わされています。generator の出力はそれを [-1, 1] の入力データ範囲に戻すために tanh 関数を通して供給されます。転置畳込み層の後のバッチ正規化関数の存在は注目すべきです、何故ならばこれは DCGAN ペーパーの重要な寄与であるからです。これらの層は訓練の間勾配のフローに役立ちます。DCGAN ペーパーからの generator の画像は下で示されます。
入力セクションの設定した入力 (nz, ngf と nc) がコードの generator アーキテクチャにどのように影響するかに注意してください。nz は z 入力ベクトルの長さで、ngf は generator を通して伝播される特徴マップのサイズに関係し、そして nc は出力画像のチャネル数です (RGB 画像のためには 3 に設定)。下は generator のためのコードです。
# Generator Code class Generator(nn.Module): def __init__(self, ngpu): super(Generator, self).__init__() self.ngpu = ngpu self.main = nn.Sequential( # input is Z, going into a convolution nn.ConvTranspose2d( nz, ngf * 8, 4, 1, 0, bias=False), nn.BatchNorm2d(ngf * 8), nn.ReLU(True), # state size. (ngf*8) x 4 x 4 nn.ConvTranspose2d(ngf * 8, ngf * 4, 4, 2, 1, bias=False), nn.BatchNorm2d(ngf * 4), nn.ReLU(True), # state size. (ngf*4) x 8 x 8 nn.ConvTranspose2d( ngf * 4, ngf * 2, 4, 2, 1, bias=False), nn.BatchNorm2d(ngf * 2), nn.ReLU(True), # state size. (ngf*2) x 16 x 16 nn.ConvTranspose2d( ngf * 2, ngf, 4, 2, 1, bias=False), nn.BatchNorm2d(ngf), nn.ReLU(True), # state size. (ngf) x 32 x 32 nn.ConvTranspose2d( ngf, nc, 4, 2, 1, bias=False), nn.Tanh() # state size. (nc) x 64 x 64 ) def forward(self, input): return self.main(input)
今、generator をインスタンス化して weights_init 関数を適用することができます。generator オブジェクトがどのように構造化されているかを見るためにプリントされたモデルを調べてください。
# Create the generator netG = Generator(ngpu).to(device) # Handle multi-gpu if desired if (device.type == 'cuda') and (ngpu > 1): netG = nn.DataParallel(netG, list(range(ngpu))) # Apply the weights_init function to randomly initialize all weights # to mean=0, stdev=0.2. netG.apply(weights_init) # Print the model print(netG)
Generator( (main): Sequential( (0): ConvTranspose2d(100, 512, kernel_size=(4, 4), stride=(1, 1), bias=False) (1): BatchNorm2d(512, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True) (2): ReLU(inplace=True) (3): ConvTranspose2d(512, 256, kernel_size=(4, 4), stride=(2, 2), padding=(1, 1), bias=False) (4): BatchNorm2d(256, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True) (5): ReLU(inplace=True) (6): ConvTranspose2d(256, 128, kernel_size=(4, 4), stride=(2, 2), padding=(1, 1), bias=False) (7): BatchNorm2d(128, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True) (8): ReLU(inplace=True) (9): ConvTranspose2d(128, 64, kernel_size=(4, 4), stride=(2, 2), padding=(1, 1), bias=False) (10): BatchNorm2d(64, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True) (11): ReLU(inplace=True) (12): ConvTranspose2d(64, 3, kernel_size=(4, 4), stride=(2, 2), padding=(1, 1), bias=False) (13): Tanh() ) )
Discriminator
言及したように、discriminator $D$ は二値分類ネットワークで、これは入力として画像を取り入力画像が (fake に対立する) real であるスカラー確率を出力します。ここでは、$D$ は 3x64x64 入力画像を取り、それを Conv2d, BatchNorm2d そして LeakyReLU 層のシリーズを通して処理し、そして Sigmoid 活性化関数を通して最後の確率を出力します。問題に対して必要であればこのアーキテクチャはより多くの層で拡張可能ですが、strided 畳込み、BatchNorm と LeakyReLU の使用は意義があります。DCGAN ペーパーはダウンサンプリングにプーリングよりも strided 畳込みを利用することは良い実践であることに言及しています、何故ならばそれはネットワークにそれ自身のプーリング関数を学習させるからです。またバッチ正規化と leaky relu 関数は健全な勾配フローを促進します、これは $G$ と $D$ の両者の学習過程のために重要です。
Discriminator コード
class Discriminator(nn.Module): def __init__(self, ngpu): super(Discriminator, self).__init__() self.ngpu = ngpu self.main = nn.Sequential( # input is (nc) x 64 x 64 nn.Conv2d(nc, ndf, 4, 2, 1, bias=False), nn.LeakyReLU(0.2, inplace=True), # state size. (ndf) x 32 x 32 nn.Conv2d(ndf, ndf * 2, 4, 2, 1, bias=False), nn.BatchNorm2d(ndf * 2), nn.LeakyReLU(0.2, inplace=True), # state size. (ndf*2) x 16 x 16 nn.Conv2d(ndf * 2, ndf * 4, 4, 2, 1, bias=False), nn.BatchNorm2d(ndf * 4), nn.LeakyReLU(0.2, inplace=True), # state size. (ndf*4) x 8 x 8 nn.Conv2d(ndf * 4, ndf * 8, 4, 2, 1, bias=False), nn.BatchNorm2d(ndf * 8), nn.LeakyReLU(0.2, inplace=True), # state size. (ndf*8) x 4 x 4 nn.Conv2d(ndf * 8, 1, 4, 1, 0, bias=False), nn.Sigmoid() ) def forward(self, input): return self.main(input)
さて、generator の場合と同様に、discriminator を作成し、weights_init 関数を適用しそしてモデルの構造をプリントすることができます。
# Create the Discriminator netD = Discriminator(ngpu).to(device) # Handle multi-gpu if desired if (device.type == 'cuda') and (ngpu > 1): netD = nn.DataParallel(netD, list(range(ngpu))) # Apply the weights_init function to randomly initialize all weights # to mean=0, stdev=0.2. netD.apply(weights_init) # Print the model print(netD)
Discriminator( (main): Sequential( (0): Conv2d(3, 64, kernel_size=(4, 4), stride=(2, 2), padding=(1, 1), bias=False) (1): LeakyReLU(negative_slope=0.2, inplace=True) (2): Conv2d(64, 128, kernel_size=(4, 4), stride=(2, 2), padding=(1, 1), bias=False) (3): BatchNorm2d(128, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True) (4): LeakyReLU(negative_slope=0.2, inplace=True) (5): Conv2d(128, 256, kernel_size=(4, 4), stride=(2, 2), padding=(1, 1), bias=False) (6): BatchNorm2d(256, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True) (7): LeakyReLU(negative_slope=0.2, inplace=True) (8): Conv2d(256, 512, kernel_size=(4, 4), stride=(2, 2), padding=(1, 1), bias=False) (9): BatchNorm2d(512, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True) (10): LeakyReLU(negative_slope=0.2, inplace=True) (11): Conv2d(512, 1, kernel_size=(4, 4), stride=(1, 1), bias=False) (12): Sigmoid() ) )
損失関数と Optimizer
$D$ と $G$ のセットアップで、それらが損失関数と optimizer を通してどのように学習するかを指定できます。私達は二値交差エントロピー損失 (BCELoss) 関数を使用します、これは PyTorch で次のように定義されています :
\[
\ell(x, y) = L = \{l_1,\dots,l_N\}^\top, \quad l_n = – \left[ y_n \cdot \log x_n + (1 – y_n) \cdot \log (1 – x_n) \right]
\]
この関数が目的関数の両者の log 成分 ((i.e. \(log(D(x))\) と \(log(1-D(G(z)))\))) の計算をどのように提供するかに注意してください。$y$ 入力で BCE 等式のどの部分を使用するかを指定できます。これは間もなく取り上げる訓練ループで成されますが、単に $y$ (i.e. GT ラベル) を変更することによりどの成分を計算することを望むかをどのように選択できるかを理解することは重要です。
次に、私達の real ラベルを 1 としてそして fake ラベルを 0 として定義します。これらのラベルは \(D\) と \(G\) の損失を計算するときに使用されて、そしてこれはまた元の GAN ペーパーで使用された慣習です。最後に、2 つの別個の optimizer をセットアップします、一つは $D$ のためで一つは $G$ のためです。DCGAN ペーパーで指定されているように、両者は学習率 0.0002 と Beta1 = 0.5 を持つ Adam optimizer です。generator の学習進捗を追跡するために、ガウス分布からドローされた潜在ベクトルの固定バッチを生成します (i.e. fixed_noise) 。訓練ループでは、この fixed_noise を $G$ に定期的に入力します、そして反復に渡りノイズから形成される画像を見ます。
# Initialize BCELoss function criterion = nn.BCELoss() # Create batch of latent vectors that we will use to visualize # the progression of the generator fixed_noise = torch.randn(64, nz, 1, 1, device=device) # Establish convention for real and fake labels during training real_label = 1 fake_label = 0 # Setup Adam optimizers for both G and D optimizerD = optim.Adam(netD.parameters(), lr=lr, betas=(beta1, 0.999)) optimizerG = optim.Adam(netG.parameters(), lr=lr, betas=(beta1, 0.999))
訓練
最後に、GAN フレームワークの総てのパートを定義した今、それを訓練できます。GAN を訓練することは幾分芸術形式であることに留意してください、というのは正しくないハイパーパラメータ設定は何が間違っていたか殆ど説明を持たないで崩壊モードに繋がるでしょう。ここでは、Goodfellow のペーパーから Algorithm 1 に密接に従います、その一方で ganhacks で示されるベストプラクティスの幾つかを守っています。すなわち、“construct different mini-batches for real and fake (画像)” を行ない、そしてまた \(logD(G(z))\) を最大化するために G の目的関数を調整します。訓練は 2 つの主要パートに分割されます。Part 1 は Discriminator を更新してそして Part 2 は Generator を更新します。
Part 1 – Discriminator を訓練する
思い出してください、discriminator を訓練するゴールは与えられた入力を real か fake として正しく分類する確率を最大化することです。Goodfellow の言葉では、“update the discriminator by ascending its stochastic gradient (その確率的勾配を登ることにより discriminator を更新します)” を望みます。実際には、\(log(D(x)) + log(1-D(G(z)))\) を最大化することを望みます。ganhacks からの separate mini-batch 提案によって、これを 2 つのステップで計算します。最初に、訓練セットから real サンプルのバッチを構築して、\(D\) を通して forward パスして、損失 \(log(D(x))\)) を計算して、それから backward パスで勾配を計算します。2 番目に、現在の generator で fake サンプルのバッチを構築して、\(D\) を通してこのバッチを forward パスして 、損失 (\(log(1-D(G(z)))\)) を計算し、そして backward パスで勾配を累積します。今、all-real と all-fake の両者のバッチから累積された勾配で、Discriminator の optimizer のステップを呼び出します。
Part 2 – Train the Generator
元のペーパーで述べられているように、より良い fake を生成する努力において \(log(1-D(G(z)))\) を最小化することにより Generator を訓練することを望みます。言及したように、特に学習過程の早期では、これは十分な勾配を提供しないことが Goodfellow により示されました。その処置として、代わりに \(log(D(G(z)))\) を最大化することを望みます。コードではこれを以下により達成します : Part 1 からの Generator 出力を Discriminator で分類し、real ラベルを GT として使用して G の損失を計算し、backward パスで G の勾配を計算し、そして最後に optimizer ステップで G のパラメータを更新します。損失関数のために real ラベルを GT ラベルとして使用することは直感に反するかもしれませんが、これは BCELoss の (\(log(1-x)\) 部ではなく) \(log(x)\) 部を使用することを可能にし、これは正確に私達が望むものです。
最後に、幾つかの統計的レポーティングを行ないそして各エポックの最後に fixed_noise バッチを generator を通してプッシュして G の訓練の進捗を視覚的に追跡します。レポートされる訓練統計情報は :
- Loss_D – 総ての real と総ての fake バッチのための損失 \(log(D(x)) + log(D(G(z)))\)) の総計として計算された discriminator 損失。
- Loss_G – \(log(D(G(z)))\) として計算される generator 損失
- D(x) – 総ての real バッチに対する discriminator の (バッチに渡る) 平均出力。これは 1 近くから始まるはずで、それから理論的には G がより良くなるとき 0.5 に収束します。Think about why this is.
- D(G(z)) – 総ての fake バッチ対する平均 discriminator 出力。最初の数は D が更新される前で 2 番目の数は D が更新される後です。これらの数は 0 近くで始まり G がより良くなるとき 0.5 に収束します。Think about why this is.
Note: このステップは少し時間がかかるかもしれません、幾つのエポックを実行するかそしてデータセットから幾つかのデータを除去したか否かに依拠して。
# Training Loop # Lists to keep track of progress img_list = [] G_losses = [] D_losses = [] iters = 0 print("Starting Training Loop...") # For each epoch for epoch in range(num_epochs): # For each batch in the dataloader for i, data in enumerate(dataloader, 0): ############################ # (1) Update D network: maximize log(D(x)) + log(1 - D(G(z))) ########################### ## Train with all-real batch netD.zero_grad() # Format batch real_cpu = data[0].to(device) b_size = real_cpu.size(0) label = torch.full((b_size,), real_label, device=device) # Forward pass real batch through D output = netD(real_cpu).view(-1) # Calculate loss on all-real batch errD_real = criterion(output, label) # Calculate gradients for D in backward pass errD_real.backward() D_x = output.mean().item() ## Train with all-fake batch # Generate batch of latent vectors noise = torch.randn(b_size, nz, 1, 1, device=device) # Generate fake image batch with G fake = netG(noise) label.fill_(fake_label) # Classify all fake batch with D output = netD(fake.detach()).view(-1) # Calculate D's loss on the all-fake batch errD_fake = criterion(output, label) # Calculate the gradients for this batch errD_fake.backward() D_G_z1 = output.mean().item() # Add the gradients from the all-real and all-fake batches errD = errD_real + errD_fake # Update D optimizerD.step() ############################ # (2) Update G network: maximize log(D(G(z))) ########################### netG.zero_grad() label.fill_(real_label) # fake labels are real for generator cost # Since we just updated D, perform another forward pass of all-fake batch through D output = netD(fake).view(-1) # Calculate G's loss based on this output errG = criterion(output, label) # Calculate gradients for G errG.backward() D_G_z2 = output.mean().item() # Update G optimizerG.step() # Output training stats if i % 50 == 0: print('[%d/%d][%d/%d]\tLoss_D: %.4f\tLoss_G: %.4f\tD(x): %.4f\tD(G(z)): %.4f / %.4f' % (epoch, num_epochs, i, len(dataloader), errD.item(), errG.item(), D_x, D_G_z1, D_G_z2)) # Save Losses for plotting later G_losses.append(errG.item()) D_losses.append(errD.item()) # Check how the generator is doing by saving G's output on fixed_noise if (iters % 500 == 0) or ((epoch == num_epochs-1) and (i == len(dataloader)-1)): with torch.no_grad(): fake = netG(fixed_noise).detach().cpu() img_list.append(vutils.make_grid(fake, padding=2, normalize=True)) iters += 1
Starting Training Loop... [0/5][0/1583] Loss_D: 2.0937 Loss_G: 5.2060 D(x): 0.5704 D(G(z)): 0.6680 / 0.0090 [0/5][50/1583] Loss_D: 0.2633 Loss_G: 19.7834 D(x): 0.9018 D(G(z)): 0.0000 / 0.0000 [0/5][100/1583] Loss_D: 3.5677 Loss_G: 16.3452 D(x): 0.9610 D(G(z)): 0.8555 / 0.0000 [0/5][150/1583] Loss_D: 0.9210 Loss_G: 4.7985 D(x): 0.5750 D(G(z)): 0.0208 / 0.0151 [0/5][200/1583] Loss_D: 0.4385 Loss_G: 4.3234 D(x): 0.9173 D(G(z)): 0.2623 / 0.0211 [0/5][250/1583] Loss_D: 0.4602 Loss_G: 4.8465 D(x): 0.7556 D(G(z)): 0.0437 / 0.0140 [0/5][300/1583] Loss_D: 0.6242 Loss_G: 2.5623 D(x): 0.7083 D(G(z)): 0.1614 / 0.1033 [0/5][350/1583] Loss_D: 2.5772 Loss_G: 4.7245 D(x): 0.1704 D(G(z)): 0.0032 / 0.0330 [0/5][400/1583] Loss_D: 0.2575 Loss_G: 5.1064 D(x): 0.8727 D(G(z)): 0.0867 / 0.0113 [0/5][450/1583] Loss_D: 0.3827 Loss_G: 5.1853 D(x): 0.7705 D(G(z)): 0.0449 / 0.0098 [0/5][500/1583] Loss_D: 1.1954 Loss_G: 6.2608 D(x): 0.4495 D(G(z)): 0.0010 / 0.0056 [0/5][550/1583] Loss_D: 0.4831 Loss_G: 4.9439 D(x): 0.8877 D(G(z)): 0.2453 / 0.0162 [0/5][600/1583] Loss_D: 1.5042 Loss_G: 2.0049 D(x): 0.4243 D(G(z)): 0.0598 / 0.2297 [0/5][650/1583] Loss_D: 0.2396 Loss_G: 4.9557 D(x): 0.9512 D(G(z)): 0.1500 / 0.0149 [0/5][700/1583] Loss_D: 0.5189 Loss_G: 2.5586 D(x): 0.7148 D(G(z)): 0.0758 / 0.1134 [0/5][750/1583] Loss_D: 1.1356 Loss_G: 6.4843 D(x): 0.9822 D(G(z)): 0.5879 / 0.0046 [0/5][800/1583] Loss_D: 0.5003 Loss_G: 3.1072 D(x): 0.7254 D(G(z)): 0.0650 / 0.0755 [0/5][850/1583] Loss_D: 0.2766 Loss_G: 5.4212 D(x): 0.9185 D(G(z)): 0.1412 / 0.0091 [0/5][900/1583] Loss_D: 0.4944 Loss_G: 5.5476 D(x): 0.8702 D(G(z)): 0.2332 / 0.0074 [0/5][950/1583] Loss_D: 0.2587 Loss_G: 4.3747 D(x): 0.8885 D(G(z)): 0.1002 / 0.0237 [0/5][1000/1583] Loss_D: 0.5586 Loss_G: 5.5877 D(x): 0.9502 D(G(z)): 0.3522 / 0.0073 [0/5][1050/1583] Loss_D: 0.3307 Loss_G: 4.6763 D(x): 0.8644 D(G(z)): 0.1274 / 0.0191 [0/5][1100/1583] Loss_D: 1.1617 Loss_G: 3.3229 D(x): 0.4832 D(G(z)): 0.0134 / 0.0656 [0/5][1150/1583] Loss_D: 0.4382 Loss_G: 3.2486 D(x): 0.7376 D(G(z)): 0.0224 / 0.0801 [0/5][1200/1583] Loss_D: 0.8614 Loss_G: 8.5879 D(x): 0.9481 D(G(z)): 0.4834 / 0.0005 [0/5][1250/1583] Loss_D: 0.4805 Loss_G: 4.4567 D(x): 0.8521 D(G(z)): 0.2063 / 0.0244 [0/5][1300/1583] Loss_D: 0.7902 Loss_G: 2.8997 D(x): 0.5757 D(G(z)): 0.0208 / 0.0914 [0/5][1350/1583] Loss_D: 0.5907 Loss_G: 2.5625 D(x): 0.7000 D(G(z)): 0.1003 / 0.1153 [0/5][1400/1583] Loss_D: 0.3727 Loss_G: 4.5353 D(x): 0.8773 D(G(z)): 0.1741 / 0.0226 [0/5][1450/1583] Loss_D: 0.8277 Loss_G: 6.2988 D(x): 0.9134 D(G(z)): 0.4469 / 0.0032 [0/5][1500/1583] Loss_D: 0.5557 Loss_G: 6.6055 D(x): 0.9284 D(G(z)): 0.3150 / 0.0037 [0/5][1550/1583] Loss_D: 0.5195 Loss_G: 5.7960 D(x): 0.9244 D(G(z)): 0.3074 / 0.0062 [1/5][0/1583] Loss_D: 0.6159 Loss_G: 5.0649 D(x): 0.8514 D(G(z)): 0.3079 / 0.0111 [1/5][50/1583] Loss_D: 1.2225 Loss_G: 3.1212 D(x): 0.4259 D(G(z)): 0.0039 / 0.1227 [1/5][100/1583] Loss_D: 0.2095 Loss_G: 3.0421 D(x): 0.9554 D(G(z)): 0.1369 / 0.0760 [1/5][150/1583] Loss_D: 0.4340 Loss_G: 4.1777 D(x): 0.9077 D(G(z)): 0.2444 / 0.0257 [1/5][200/1583] Loss_D: 0.3383 Loss_G: 3.1480 D(x): 0.8507 D(G(z)): 0.1310 / 0.0687 [1/5][250/1583] Loss_D: 0.7609 Loss_G: 6.3414 D(x): 0.9145 D(G(z)): 0.4360 / 0.0039 [1/5][300/1583] Loss_D: 0.4584 Loss_G: 3.9891 D(x): 0.9103 D(G(z)): 0.2681 / 0.0330 [1/5][350/1583] Loss_D: 0.3048 Loss_G: 4.2822 D(x): 0.8896 D(G(z)): 0.1427 / 0.0256 [1/5][400/1583] Loss_D: 1.2974 Loss_G: 10.3397 D(x): 0.9665 D(G(z)): 0.6519 / 0.0002 [1/5][450/1583] Loss_D: 0.4800 Loss_G: 2.8840 D(x): 0.7454 D(G(z)): 0.1241 / 0.0825 [1/5][500/1583] Loss_D: 0.3698 Loss_G: 2.9832 D(x): 0.8010 D(G(z)): 0.1046 / 0.0718 [1/5][550/1583] Loss_D: 0.3081 Loss_G: 3.9630 D(x): 0.8846 D(G(z)): 0.1423 / 0.0310 [1/5][600/1583] Loss_D: 0.8099 Loss_G: 3.2519 D(x): 0.5312 D(G(z)): 0.0097 / 0.0626 [1/5][650/1583] Loss_D: 1.4842 Loss_G: 2.0196 D(x): 0.3465 D(G(z)): 0.0167 / 0.2369 [1/5][700/1583] Loss_D: 0.5678 Loss_G: 4.4817 D(x): 0.8915 D(G(z)): 0.3035 / 0.0201 [1/5][750/1583] Loss_D: 0.4494 Loss_G: 3.1249 D(x): 0.8215 D(G(z)): 0.1763 / 0.0772 [1/5][800/1583] Loss_D: 0.4809 Loss_G: 5.5926 D(x): 0.9581 D(G(z)): 0.3100 / 0.0077 [1/5][850/1583] Loss_D: 0.4735 Loss_G: 3.4913 D(x): 0.6945 D(G(z)): 0.0269 / 0.0567 [1/5][900/1583] Loss_D: 0.4093 Loss_G: 3.6897 D(x): 0.8609 D(G(z)): 0.1993 / 0.0387 [1/5][950/1583] Loss_D: 1.3012 Loss_G: 6.8658 D(x): 0.9630 D(G(z)): 0.6406 / 0.0021 [1/5][1000/1583] Loss_D: 0.6292 Loss_G: 1.3215 D(x): 0.6320 D(G(z)): 0.0502 / 0.3372 [1/5][1050/1583] Loss_D: 0.2930 Loss_G: 3.3839 D(x): 0.8902 D(G(z)): 0.1455 / 0.0461 [1/5][1100/1583] Loss_D: 0.5811 Loss_G: 3.3034 D(x): 0.6833 D(G(z)): 0.1033 / 0.0642 [1/5][1150/1583] Loss_D: 0.8774 Loss_G: 1.4426 D(x): 0.5003 D(G(z)): 0.0297 / 0.3340 [1/5][1200/1583] Loss_D: 0.6030 Loss_G: 1.0524 D(x): 0.6604 D(G(z)): 0.0827 / 0.4148 [1/5][1250/1583] Loss_D: 0.5215 Loss_G: 2.9796 D(x): 0.8647 D(G(z)): 0.2671 / 0.0761 [1/5][1300/1583] Loss_D: 0.5561 Loss_G: 2.4254 D(x): 0.7483 D(G(z)): 0.1806 / 0.1212 [1/5][1350/1583] Loss_D: 0.3546 Loss_G: 3.3304 D(x): 0.9057 D(G(z)): 0.2019 / 0.0480 [1/5][1400/1583] Loss_D: 0.6404 Loss_G: 3.6461 D(x): 0.8587 D(G(z)): 0.3257 / 0.0420 [1/5][1450/1583] Loss_D: 1.2929 Loss_G: 5.1475 D(x): 0.9327 D(G(z)): 0.6324 / 0.0116 [1/5][1500/1583] Loss_D: 0.5963 Loss_G: 3.0123 D(x): 0.7931 D(G(z)): 0.2602 / 0.0715 [1/5][1550/1583] Loss_D: 0.7279 Loss_G: 2.3257 D(x): 0.5603 D(G(z)): 0.0191 / 0.1392 [2/5][0/1583] Loss_D: 1.8099 Loss_G: 6.3192 D(x): 0.9845 D(G(z)): 0.7708 / 0.0033 [2/5][50/1583] Loss_D: 0.6395 Loss_G: 2.1641 D(x): 0.6479 D(G(z)): 0.1100 / 0.1676 [2/5][100/1583] Loss_D: 0.5422 Loss_G: 3.2504 D(x): 0.7970 D(G(z)): 0.2285 / 0.0569 [2/5][150/1583] Loss_D: 0.7539 Loss_G: 5.2248 D(x): 0.9590 D(G(z)): 0.4570 / 0.0118 [2/5][200/1583] Loss_D: 0.6968 Loss_G: 3.0135 D(x): 0.8090 D(G(z)): 0.3317 / 0.0668 [2/5][250/1583] Loss_D: 0.5854 Loss_G: 3.4643 D(x): 0.9055 D(G(z)): 0.3494 / 0.0447 [2/5][300/1583] Loss_D: 0.5766 Loss_G: 2.8211 D(x): 0.8533 D(G(z)): 0.3042 / 0.0811 [2/5][350/1583] Loss_D: 0.3647 Loss_G: 3.2817 D(x): 0.8793 D(G(z)): 0.1912 / 0.0495 [2/5][400/1583] Loss_D: 0.6878 Loss_G: 3.8404 D(x): 0.9112 D(G(z)): 0.4068 / 0.0323 [2/5][450/1583] Loss_D: 0.5649 Loss_G: 3.2506 D(x): 0.8159 D(G(z)): 0.2605 / 0.0551 [2/5][500/1583] Loss_D: 0.9604 Loss_G: 0.7021 D(x): 0.5175 D(G(z)): 0.1479 / 0.5426 [2/5][550/1583] Loss_D: 1.5423 Loss_G: 0.2821 D(x): 0.2896 D(G(z)): 0.0130 / 0.7701 [2/5][600/1583] Loss_D: 1.1861 Loss_G: 1.0918 D(x): 0.4106 D(G(z)): 0.0368 / 0.3971 [2/5][650/1583] Loss_D: 0.7997 Loss_G: 1.3052 D(x): 0.6526 D(G(z)): 0.2282 / 0.3467 [2/5][700/1583] Loss_D: 0.6779 Loss_G: 3.2674 D(x): 0.8610 D(G(z)): 0.3719 / 0.0516 [2/5][750/1583] Loss_D: 0.5636 Loss_G: 1.8339 D(x): 0.6586 D(G(z)): 0.0708 / 0.2140 [2/5][800/1583] Loss_D: 1.8692 Loss_G: 5.9959 D(x): 0.9700 D(G(z)): 0.7844 / 0.0039 [2/5][850/1583] Loss_D: 0.4207 Loss_G: 2.4453 D(x): 0.7949 D(G(z)): 0.1444 / 0.1114 [2/5][900/1583] Loss_D: 0.5480 Loss_G: 1.9910 D(x): 0.7492 D(G(z)): 0.1923 / 0.1678 [2/5][950/1583] Loss_D: 0.6426 Loss_G: 1.4859 D(x): 0.6130 D(G(z)): 0.0810 / 0.2660 [2/5][1000/1583] Loss_D: 1.1939 Loss_G: 0.7996 D(x): 0.3849 D(G(z)): 0.0313 / 0.5061 [2/5][1050/1583] Loss_D: 0.6804 Loss_G: 1.7450 D(x): 0.6837 D(G(z)): 0.1982 / 0.2186 [2/5][1100/1583] Loss_D: 0.5776 Loss_G: 2.2470 D(x): 0.7877 D(G(z)): 0.2477 / 0.1262 [2/5][1150/1583] Loss_D: 0.8065 Loss_G: 3.6980 D(x): 0.8954 D(G(z)): 0.4483 / 0.0353 [2/5][1200/1583] Loss_D: 0.7267 Loss_G: 1.4610 D(x): 0.5954 D(G(z)): 0.1183 / 0.2700 [2/5][1250/1583] Loss_D: 1.2612 Loss_G: 1.7542 D(x): 0.3610 D(G(z)): 0.0448 / 0.2337 [2/5][1300/1583] Loss_D: 0.5157 Loss_G: 3.0552 D(x): 0.8368 D(G(z)): 0.2531 / 0.0611 [2/5][1350/1583] Loss_D: 0.6322 Loss_G: 2.5537 D(x): 0.7829 D(G(z)): 0.2788 / 0.1033 [2/5][1400/1583] Loss_D: 0.9011 Loss_G: 1.0663 D(x): 0.5135 D(G(z)): 0.1061 / 0.4038 [2/5][1450/1583] Loss_D: 0.5575 Loss_G: 3.1869 D(x): 0.8741 D(G(z)): 0.3075 / 0.0578 [2/5][1500/1583] Loss_D: 0.5913 Loss_G: 3.6299 D(x): 0.8441 D(G(z)): 0.3070 / 0.0391 [2/5][1550/1583] Loss_D: 0.7974 Loss_G: 1.1924 D(x): 0.5368 D(G(z)): 0.0704 / 0.3455 [3/5][0/1583] Loss_D: 0.7966 Loss_G: 1.4320 D(x): 0.5246 D(G(z)): 0.0502 / 0.2896 [3/5][50/1583] Loss_D: 0.5506 Loss_G: 2.6787 D(x): 0.8133 D(G(z)): 0.2541 / 0.0947 [3/5][100/1583] Loss_D: 0.7694 Loss_G: 1.1475 D(x): 0.5530 D(G(z)): 0.0649 / 0.3773 [3/5][150/1583] Loss_D: 0.6059 Loss_G: 2.6234 D(x): 0.8596 D(G(z)): 0.3246 / 0.0907 [3/5][200/1583] Loss_D: 0.7204 Loss_G: 4.1046 D(x): 0.8822 D(G(z)): 0.4055 / 0.0251 [3/5][250/1583] Loss_D: 0.5020 Loss_G: 2.2068 D(x): 0.7557 D(G(z)): 0.1698 / 0.1371 [3/5][300/1583] Loss_D: 0.6155 Loss_G: 1.3642 D(x): 0.6755 D(G(z)): 0.1484 / 0.3025 [3/5][350/1583] Loss_D: 2.4636 Loss_G: 0.7857 D(x): 0.1539 D(G(z)): 0.0285 / 0.5252 [3/5][400/1583] Loss_D: 0.7170 Loss_G: 4.1370 D(x): 0.8679 D(G(z)): 0.3942 / 0.0232 [3/5][450/1583] Loss_D: 0.9310 Loss_G: 2.0856 D(x): 0.6104 D(G(z)): 0.2724 / 0.1647 [3/5][500/1583] Loss_D: 0.8961 Loss_G: 3.9040 D(x): 0.9012 D(G(z)): 0.4895 / 0.0300 [3/5][550/1583] Loss_D: 0.5854 Loss_G: 1.5765 D(x): 0.6860 D(G(z)): 0.1532 / 0.2423 [3/5][600/1583] Loss_D: 1.0065 Loss_G: 1.6360 D(x): 0.4463 D(G(z)): 0.0481 / 0.2522 [3/5][650/1583] Loss_D: 0.6486 Loss_G: 2.2138 D(x): 0.7633 D(G(z)): 0.2766 / 0.1367 [3/5][700/1583] Loss_D: 0.5499 Loss_G: 1.9641 D(x): 0.7391 D(G(z)): 0.1837 / 0.1759 [3/5][750/1583] Loss_D: 0.8446 Loss_G: 1.9896 D(x): 0.6273 D(G(z)): 0.2436 / 0.1735 [3/5][800/1583] Loss_D: 0.6696 Loss_G: 2.8845 D(x): 0.8544 D(G(z)): 0.3566 / 0.0762 [3/5][850/1583] Loss_D: 0.7378 Loss_G: 3.0285 D(x): 0.8429 D(G(z)): 0.3721 / 0.0671 [3/5][900/1583] Loss_D: 1.0088 Loss_G: 1.0575 D(x): 0.4336 D(G(z)): 0.0533 / 0.4000 [3/5][950/1583] Loss_D: 0.6710 Loss_G: 2.0405 D(x): 0.7195 D(G(z)): 0.2412 / 0.1669 [3/5][1000/1583] Loss_D: 0.5804 Loss_G: 1.9366 D(x): 0.7422 D(G(z)): 0.2015 / 0.1777 [3/5][1050/1583] Loss_D: 0.5861 Loss_G: 2.0257 D(x): 0.6591 D(G(z)): 0.1036 / 0.1707 [3/5][1100/1583] Loss_D: 0.8583 Loss_G: 4.6929 D(x): 0.9263 D(G(z)): 0.4687 / 0.0163 [3/5][1150/1583] Loss_D: 0.5341 Loss_G: 3.1920 D(x): 0.8341 D(G(z)): 0.2659 / 0.0535 [3/5][1200/1583] Loss_D: 1.0870 Loss_G: 4.8393 D(x): 0.9365 D(G(z)): 0.5890 / 0.0119 [3/5][1250/1583] Loss_D: 0.6153 Loss_G: 2.6638 D(x): 0.7392 D(G(z)): 0.2218 / 0.0991 [3/5][1300/1583] Loss_D: 0.7155 Loss_G: 1.7435 D(x): 0.5723 D(G(z)): 0.0597 / 0.2396 [3/5][1350/1583] Loss_D: 1.0910 Loss_G: 1.2376 D(x): 0.4043 D(G(z)): 0.0359 / 0.3394 [3/5][1400/1583] Loss_D: 0.8269 Loss_G: 1.9470 D(x): 0.5987 D(G(z)): 0.1802 / 0.1806 [3/5][1450/1583] Loss_D: 0.7558 Loss_G: 1.3408 D(x): 0.5530 D(G(z)): 0.0597 / 0.3122 [3/5][1500/1583] Loss_D: 1.7032 Loss_G: 4.5823 D(x): 0.9278 D(G(z)): 0.7401 / 0.0168 [3/5][1550/1583] Loss_D: 0.9159 Loss_G: 4.1861 D(x): 0.9340 D(G(z)): 0.5148 / 0.0211 [4/5][0/1583] Loss_D: 0.6748 Loss_G: 1.3723 D(x): 0.6064 D(G(z)): 0.0789 / 0.3067 [4/5][50/1583] Loss_D: 0.5562 Loss_G: 2.5537 D(x): 0.7963 D(G(z)): 0.2463 / 0.0990 [4/5][100/1583] Loss_D: 1.0265 Loss_G: 0.9076 D(x): 0.4310 D(G(z)): 0.0355 / 0.4595 [4/5][150/1583] Loss_D: 0.6604 Loss_G: 1.5666 D(x): 0.6012 D(G(z)): 0.0798 / 0.2546 [4/5][200/1583] Loss_D: 0.4851 Loss_G: 2.6471 D(x): 0.7500 D(G(z)): 0.1423 / 0.0892 [4/5][250/1583] Loss_D: 1.5429 Loss_G: 1.2015 D(x): 0.2819 D(G(z)): 0.0312 / 0.3964 [4/5][300/1583] Loss_D: 0.6397 Loss_G: 2.4566 D(x): 0.7884 D(G(z)): 0.2971 / 0.1092 [4/5][350/1583] Loss_D: 0.5911 Loss_G: 2.4195 D(x): 0.6853 D(G(z)): 0.1451 / 0.1230 [4/5][400/1583] Loss_D: 0.4732 Loss_G: 2.3454 D(x): 0.7269 D(G(z)): 0.1111 / 0.1250 [4/5][450/1583] Loss_D: 0.4941 Loss_G: 2.4954 D(x): 0.8171 D(G(z)): 0.2260 / 0.1086 [4/5][500/1583] Loss_D: 1.0243 Loss_G: 1.0585 D(x): 0.4546 D(G(z)): 0.1034 / 0.4073 [4/5][550/1583] Loss_D: 0.9454 Loss_G: 4.8402 D(x): 0.8877 D(G(z)): 0.5169 / 0.0116 [4/5][600/1583] Loss_D: 1.6826 Loss_G: 1.2606 D(x): 0.2956 D(G(z)): 0.0354 / 0.3532 [4/5][650/1583] Loss_D: 0.7353 Loss_G: 3.7058 D(x): 0.8975 D(G(z)): 0.4218 / 0.0366 [4/5][700/1583] Loss_D: 0.7432 Loss_G: 3.5135 D(x): 0.8284 D(G(z)): 0.3744 / 0.0426 [4/5][750/1583] Loss_D: 0.6719 Loss_G: 1.7647 D(x): 0.6535 D(G(z)): 0.1628 / 0.2050 [4/5][800/1583] Loss_D: 0.6465 Loss_G: 3.8003 D(x): 0.8946 D(G(z)): 0.3749 / 0.0307 [4/5][850/1583] Loss_D: 0.8795 Loss_G: 1.2844 D(x): 0.5329 D(G(z)): 0.1153 / 0.3320 [4/5][900/1583] Loss_D: 0.9476 Loss_G: 0.8989 D(x): 0.4660 D(G(z)): 0.0621 / 0.4533 [4/5][950/1583] Loss_D: 0.6183 Loss_G: 2.8364 D(x): 0.8712 D(G(z)): 0.3432 / 0.0740 [4/5][1000/1583] Loss_D: 1.2947 Loss_G: 4.7730 D(x): 0.9483 D(G(z)): 0.6660 / 0.0139 [4/5][1050/1583] Loss_D: 0.8829 Loss_G: 0.8887 D(x): 0.4919 D(G(z)): 0.0611 / 0.4552 [4/5][1100/1583] Loss_D: 1.3081 Loss_G: 0.4567 D(x): 0.3534 D(G(z)): 0.0529 / 0.6723 [4/5][1150/1583] Loss_D: 0.8297 Loss_G: 2.9580 D(x): 0.7890 D(G(z)): 0.3999 / 0.0717 [4/5][1200/1583] Loss_D: 0.5368 Loss_G: 2.6982 D(x): 0.8310 D(G(z)): 0.2675 / 0.0855 [4/5][1250/1583] Loss_D: 0.5351 Loss_G: 2.1117 D(x): 0.7749 D(G(z)): 0.2122 / 0.1462 [4/5][1300/1583] Loss_D: 0.9060 Loss_G: 3.9850 D(x): 0.8768 D(G(z)): 0.4772 / 0.0318 [4/5][1350/1583] Loss_D: 0.6430 Loss_G: 3.3045 D(x): 0.8815 D(G(z)): 0.3686 / 0.0490 [4/5][1400/1583] Loss_D: 0.7264 Loss_G: 3.4672 D(x): 0.8684 D(G(z)): 0.3984 / 0.0433 [4/5][1450/1583] Loss_D: 0.6241 Loss_G: 1.9774 D(x): 0.6559 D(G(z)): 0.1265 / 0.1767 [4/5][1500/1583] Loss_D: 0.5850 Loss_G: 3.5189 D(x): 0.8755 D(G(z)): 0.3312 / 0.0427 [4/5][1550/1583] Loss_D: 0.6573 Loss_G: 3.7547 D(x): 0.8878 D(G(z)): 0.3722 / 0.0331
結果
最後に、私達がどのように行なったかを確認しましょう。ここでは、3 つの異なる結果を見ます。最初に、D と G の損失が訓練の間にどのように変わったかを見ます。2 番目に、総てのエポックについて fixed_noise バッチ上の G の出力を可視化します。そして 3 番目に、G からの fake データのバッチの次に real データのバッチを見ます。
損失 versus 訓練反復
下は D & G の損失 versus 訓練反復のプロットです。
plt.figure(figsize=(10,5)) plt.title("Generator and Discriminator Loss During Training") plt.plot(G_losses,label="G") plt.plot(D_losses,label="D") plt.xlabel("iterations") plt.ylabel("Loss") plt.legend() plt.show()
G の向上の可視化
訓練の総てのエポック後に fixed_noise バッチ上の generator の出力をどのようにセーブしたかを思い出してください。今、G の訓練向上をアニメーションで可視化できます。アニメーションを開始するには play ボタンを押してください。
#%%capture fig = plt.figure(figsize=(8,8)) plt.axis("off") ims = [[plt.imshow(np.transpose(i,(1,2,0)), animated=True)] for i in img_list] ani = animation.ArtistAnimation(fig, ims, interval=1000, repeat_delay=1000, blit=True) HTML(ani.to_jshtml())
Real 画像 vs. Fake 画像
最後に、幾つかの real 画像と fake 画像を並べて見てみましょう。
# Grab a batch of real images from the dataloader real_batch = next(iter(dataloader)) # Plot the real images plt.figure(figsize=(15,15)) plt.subplot(1,2,1) plt.axis("off") plt.title("Real Images") plt.imshow(np.transpose(vutils.make_grid(real_batch[0].to(device)[:64], padding=5, normalize=True).cpu(),(1,2,0))) # Plot the fake images from the last epoch plt.subplot(1,2,2) plt.axis("off") plt.title("Fake Images") plt.imshow(np.transpose(img_list[-1],(1,2,0))) plt.show()
WHERE TO GO NEXT
旅の最後に到達しましたが、ここから行ける幾つかの場所があります。貴方は以下ができるでしょう :
- より長く訓練して結果がどのように良くなるかを見ます。
- 異なるデータセットを取るためにモデルを変更します、多分画像のサイズとモデル・アーキテクチャを変更します。
- ここ で幾つかの他のクールな GAN プロジェクトを調べます。
- 音楽 を生成する GAN を作成します。
以上