PyTorch 1.8 チュートリアル : PyTorch の学習 : 基本 – クイックスタート (翻訳/解説)
翻訳 : (株)クラスキャットセールスインフォメーション
作成日時 : 03/11/2021 (1.8.0)

* 本ページは、PyTorch 1.8 Tutorials の以下のページを翻訳した上で適宜、補足説明したものです：

Learning PyTorch : Learn the Basics : QuickStart

* サンプルコードの動作確認はしておりますが、必要な場合には適宜、追加改変しています。
* ご自由にリンクを張って頂いてかまいませんが、sales-info@classcat.com までご一報いただけると嬉しいです。

★ 無料セミナー実施中 ★ クラスキャット主催人工知能 & ビジネス Web セミナー

人工知能とビジネスをテーマにウェビナー (WEB セミナー) を定期的に開催しています。スケジュールは弊社公式 Web サイトでご確認頂けます。

お住まいの地域に関係なく Web ブラウザからご参加頂けます。事前登録 が必要ですのでご注意ください。
Windows PC のブラウザからご参加が可能です。スマートデバイスもご利用可能です。

クラスキャットは人工知能・テレワークに関する各種サービスを提供しております :

人工知能研究開発支援	人工知能研修サービス	テレワーク & オンライン授業を支援
PoC(概念実証)を失敗させないための支援 (本支援はセミナーに参加しアンケートに回答した方を対象としています。)

◆ お問合せ : 本件に関するお問い合わせ先は下記までお願いいたします。

株式会社クラスキャット セールス・マーケティング本部セールス・インフォメーション

E-Mail：sales-info@classcat.com ; WebSite: https://www.classcat.com/ ; Facebook

PyTorch の学習 : 基本 – クイックスタート

このセクションは機械学習の一般的なタスクのための API を通り抜けます。深く潜るためには各セクションのリンクを参照してください。

データで作業する

PyTorch はデータで作業するために 2 つのプリミティブを持ちます : torch.utils.data.DataLoader と torch.utils.data.Dataset です。Dataset はサンプルのそれらに対応するラベルをストアし、そして DataLoader は Dataset 回りの iterable をラップします。

import torch
from torch import nn
from torch.utils.data import DataLoader
from torchvision import datasets
from torchvision.transforms import ToTensor, Lambda, Compose
import matplotlib.pyplot as plt

PyTorch は TorchText, TorchVision と TorchAudio のようなドメイン固有のライブラリを提供します、それらの総てはデータセットを含みます。このチュートリアルのためには、TorchVision データセットを使用していきます。

torchvision.datasets モジュールは CIFAR, COCO のような多くのリアル世界ビジョンデータのための Dataset オブジェクトを含みます (ここに完全なリスト)。このチュートリアルでは、FashionMNIST データセットを利用します。総ての TorchVision データセットは 2 つの引数を含みます : サンプルとラベルをそれぞれ変更する transform と target_transform です。

# Download training data from open datasets.
training_data = datasets.FashionMNIST(
    root="data",
    train=True,
    download=True,
    transform=ToTensor(),
)

# Download test data from open datasets.
test_data = datasets.FashionMNIST(
    root="data",
    train=False,
    download=True,
    transform=ToTensor(),
)

Downloading http://fashion-mnist.s3-website.eu-central-1.amazonaws.com/train-images-idx3-ubyte.gz to data/FashionMNIST/raw/train-images-idx3-ubyte.gz
Extracting data/FashionMNIST/raw/train-images-idx3-ubyte.gz to data/FashionMNIST/raw
Downloading http://fashion-mnist.s3-website.eu-central-1.amazonaws.com/train-labels-idx1-ubyte.gz to data/FashionMNIST/raw/train-labels-idx1-ubyte.gz
Extracting data/FashionMNIST/raw/train-labels-idx1-ubyte.gz to data/FashionMNIST/raw
Downloading http://fashion-mnist.s3-website.eu-central-1.amazonaws.com/t10k-images-idx3-ubyte.gz to data/FashionMNIST/raw/t10k-images-idx3-ubyte.gz
Extracting data/FashionMNIST/raw/t10k-images-idx3-ubyte.gz to data/FashionMNIST/raw
Downloading http://fashion-mnist.s3-website.eu-central-1.amazonaws.com/t10k-labels-idx1-ubyte.gz to data/FashionMNIST/raw/t10k-labels-idx1-ubyte.gz
Extracting data/FashionMNIST/raw/t10k-labels-idx1-ubyte.gz to data/FashionMNIST/raw
Processing...
Done!

DataLoader への引数として Dataset を渡します。これはデータセットに渡る iterable をラップし、そして自動バッチ化、サンプリング、シャッフリングとマルチプロセス・データローディングをサポートします。ここでは 64 のバッチサイズを定義します i.e. データローダ iterable の各要素は 64 の特徴とラベルのバッチを返します。

batch_size = 64

# Create data loaders.
train_dataloader = DataLoader(training_data, batch_size=batch_size)
test_dataloader = DataLoader(test_data, batch_size=batch_size)

for X, y in test_dataloader:
    print("Shape of X [N, C, H, W]: ", X.shape)
    print("Shape of y: ", y.shape, y.dtype)
    break

Shape of X [N, C, H, W]:  torch.Size([64, 1, 28, 28])
Shape of y:  torch.Size([64]) torch.int64

PyTorch のデータのロードについて更に読んでください。

モデルを作成する

PyTorch でニューラルネットワークを定義するため、nn.Module から継承したクラスを作成します。__init__ 関数でネットワーク層を定義して forward 関数でデータがどのようにネットワークを通り抜けるか指定します。ニューラルネットワークの演算を高速化するためには、利用可能であればそれを GPU に移します。

# Get cpu or gpu device for training.
device = "cuda" if torch.cuda.is_available() else "cpu"
print("Using {} device".format(device))

# Define model
class NeuralNetwork(nn.Module):
    def __init__(self):
        super(NeuralNetwork, self).__init__()
        self.flatten = nn.Flatten()
        self.linear_relu_stack = nn.Sequential(
            nn.Linear(28*28, 512),
            nn.ReLU(),
            nn.Linear(512, 512),
            nn.ReLU(),
            nn.Linear(512, 10),
            nn.ReLU()
        )

    def forward(self, x):
        x = self.flatten(x)
        logits = self.linear_relu_stack(x)
        return logits

model = NeuralNetwork().to(device)
print(model)

Using cuda device
NeuralNetwork(
  (flatten): Flatten(start_dim=1, end_dim=-1)
  (linear_relu_stack): Sequential(
    (0): Linear(in_features=784, out_features=512, bias=True)
    (1): ReLU()
    (2): Linear(in_features=512, out_features=512, bias=True)
    (3): ReLU()
    (4): Linear(in_features=512, out_features=10, bias=True)
    (5): ReLU()
  )
)

PyTorch のニューラルネットワークの構築について更に読んでください。

モデル・パラメータを最適化する

モデルを訓練するためには、損失関数と optimizer を必要とします。

loss_fn = nn.CrossEntropyLoss()
optimizer = torch.optim.SGD(model.parameters(), lr=1e-3)

単一訓練ループ内で、モデルは訓練データセット (バッチでそれに供給されます) 上で予測を行ない、モデルのパラメータを調整するために予測誤差を逆伝播します。

def train(dataloader, model, loss_fn, optimizer):
    size = len(dataloader.dataset)
    for batch, (X, y) in enumerate(dataloader):
        X, y = X.to(device), y.to(device)

        # Compute prediction error
        pred = model(X)
        loss = loss_fn(pred, y)

        # Backpropagation
        optimizer.zero_grad()
        loss.backward()
        optimizer.step()

        if batch % 100 == 0:
            loss, current = loss.item(), batch * len(X)
            print(f"loss: {loss:>7f}  [{current:>5d}/{size:>5d}]")

テスト・データセットに対してモデルのパフォーマンスをそれが学習していることを確実にするために確認もします。

def test(dataloader, model):
    size = len(dataloader.dataset)
    model.eval()
    test_loss, correct = 0, 0
    with torch.no_grad():
        for X, y in dataloader:
            X, y = X.to(device), y.to(device)
            pred = model(X)
            test_loss += loss_fn(pred, y).item()
            correct += (pred.argmax(1) == y).type(torch.float).sum().item()
    test_loss /= size
    correct /= size
    print(f"Test Error: \n Accuracy: {(100*correct):>0.1f}%, Avg loss: {test_loss:>8f} \n")

訓練プロセスは幾つかの反復 (エポック) に渡り実行されます。各エポックの間に、モデルはより良い予測を行なうためにパラメータを学習します。各エポックでモデルの精度と損失をプリントします ; 総てのエポックで精度が増加して損失が減少することを見たいです。

epochs = 5
for t in range(epochs):
    print(f"Epoch {t+1}\n-------------------------------")
    train(train_dataloader, model, loss_fn, optimizer)
    test(test_dataloader, model)
print("Done!")

Epoch 1
-------------------------------
loss: 2.310027  [    0/60000]
loss: 2.297520  [ 6400/60000]
loss: 2.287225  [12800/60000]
loss: 2.279968  [19200/60000]
loss: 2.261082  [25600/60000]
loss: 2.255181  [32000/60000]
loss: 2.260803  [38400/60000]
loss: 2.235966  [44800/60000]
loss: 2.228595  [51200/60000]
loss: 2.215777  [57600/60000]
Test Error: 
 Accuracy: 46.0%, Avg loss: 0.034596 

Epoch 2
-------------------------------
loss: 2.211729  [    0/60000]
loss: 2.199376  [ 6400/60000]
loss: 2.157185  [12800/60000]
loss: 2.179775  [19200/60000]
loss: 2.121969  [25600/60000]
loss: 2.102634  [32000/60000]
loss: 2.141337  [38400/60000]
loss: 2.068294  [44800/60000]
loss: 2.078205  [51200/60000]
loss: 2.064543  [57600/60000]
Test Error: 
 Accuracy: 46.9%, Avg loss: 0.031802 

Epoch 3
-------------------------------
loss: 2.045259  [    0/60000]
loss: 2.024345  [ 6400/60000]
loss: 1.923762  [12800/60000]
loss: 1.991795  [19200/60000]
loss: 1.867252  [25600/60000]
loss: 1.842172  [32000/60000]
loss: 1.932088  [38400/60000]
loss: 1.784968  [44800/60000]
loss: 1.834607  [51200/60000]
loss: 1.837519  [57600/60000]
Test Error: 
 Accuracy: 50.7%, Avg loss: 0.027416 

Epoch 4
-------------------------------
loss: 1.783128  [    0/60000]
loss: 1.754584  [ 6400/60000]
loss: 1.584565  [12800/60000]
loss: 1.736418  [19200/60000]
loss: 1.562819  [25600/60000]
loss: 1.548558  [32000/60000]
loss: 1.709176  [38400/60000]
loss: 1.504959  [44800/60000]
loss: 1.596649  [51200/60000]
loss: 1.654893  [57600/60000]
Test Error: 
 Accuracy: 55.3%, Avg loss: 0.023595 

Epoch 5
-------------------------------
loss: 1.542417  [    0/60000]
loss: 1.524057  [ 6400/60000]
loss: 1.313222  [12800/60000]
loss: 1.545704  [19200/60000]
loss: 1.348590  [25600/60000]
loss: 1.354064  [32000/60000]
loss: 1.565030  [38400/60000]
loss: 1.331755  [44800/60000]
loss: 1.438981  [51200/60000]
loss: 1.546634  [57600/60000]
Test Error: 
 Accuracy: 59.0%, Avg loss: 0.021212 

Done!

モデルを訓練するについて更に読んでください。

モデルをセーブする

モデルをセーブする一般的な方法は (モデルパラメータを含む) 内部状態辞書をシリアライズすることです。

torch.save(model.state_dict(), "model.pth")
print("Saved PyTorch Model State to model.pth")

Saved PyTorch Model State to model.pth

モデルをロードする

モデルをロードするためのプロセスはモデル構造の再作成と状態辞書のそれへのロードを含みます。

model = NeuralNetwork()
model.load_state_dict(torch.load("model.pth"))

<All keys matched successfully>

このモデルは今では予測を行なうために利用できます。

classes = [
    "T-shirt/top",
    "Trouser",
    "Pullover",
    "Dress",
    "Coat",
    "Sandal",
    "Shirt",
    "Sneaker",
    "Bag",
    "Ankle boot",
]

model.eval()
x, y = test_data[0][0], test_data[0][1]
with torch.no_grad():
    pred = model(x)
    predicted, actual = classes[pred[0].argmax(0)], classes[y]
    print(f'Predicted: "{predicted}", Actual: "{actual}"')

Predicted: "Ankle boot", Actual: "Ankle boot"

モデルのセーブ & ロードについて更に読んでください。

以上

2021年3月
月	火	水	木	金	土	日
1	2	3	4	5	6	7
8	9	10	11	12	13	14
15	16	17	18	19	20	21
22	23	24	25	26	27	28
29	30	31