PyTorch Lightning 1.1: research : CIFAR100 要約
作成 : (株)クラスキャット セールスインフォメーション
作成日時 : 02/24/2021 (1.1.x)
* 本ページは以下の CIFAR10 用リソースを参考に CIFAR100 で遂行した実験結果のレポートの要約です：
- notebooks : PyTorch Lightning CIFAR10 ~94% Baseline Tutorial
- Train CIFAR10 with PyTorch
- Pytorch-cifar100
* ご自由にリンクを張って頂いてかまいませんが、sales-info@classcat.com までご一報いただけると嬉しいです。
★ 無料セミナー実施中 ★ クラスキャット主催 人工知能 & ビジネス Web セミナー
人工知能とビジネスをテーマにウェビナー (WEB セミナー) を定期的に開催しています。スケジュールは弊社 公式 Web サイト でご確認頂けます。
- お住まいの地域に関係なく Web ブラウザからご参加頂けます。事前登録 が必要ですのでご注意ください。
- Windows PC のブラウザからご参加が可能です。スマートデバイスもご利用可能です。
クラスキャットは人工知能・テレワークに関する各種サービスを提供しております :
| 人工知能研究開発支援 | 人工知能研修サービス | テレワーク & オンライン授業を支援 |
| PoC(概念実証)を失敗させないための支援 (本支援はセミナーに参加しアンケートに回答した方を対象としています。) | ||
◆ お問合せ : 本件に関するお問い合わせ先は下記までお願いいたします。
| 株式会社クラスキャット セールス・マーケティング本部 セールス・インフォメーション |
| E-Mail：sales-info@classcat.com ; WebSite: https://www.classcat.com/ |
| Facebook: https://www.facebook.com/ClassCatJP/ |
research: CIFAR100 結果まとめ
| 74.3300 | SEResNet50 | SEResNet | 26.3 M | 100 epochs | 5h 25min 52s | |
| 73.7000 | SEResNet34 | SEResNet | 21.5 M | 100 epochs | 3h 12min 40s | |
| 73.6800 | RegNetX_200MF | RegNet | 2.4 M | 150 epochs | 3h 9min 46s | |
| 73.3900 | RegNetX_200MF | RegNet | 2.4 M | 100 epochs | 2h 8min 30s | |
| 73.3800 | SEResNet18 | SEResNet | 11.3 M | 100 epochs | 1h 25min 56s | |
| 73.2200 | RegNetX_400MF | RegNet | 4.8 M | 100 epochs | 3h 19min 18s | |
| 73.0200 | ResNet18 | ResNet | 11.2 M | 100 epochs | 1h 39min 34s | Tesla M60 x 2 |
| 72.9900 | ResNeXt29_2x64d | ResNeXt | 9.2 M | 100 epochs | 3h 51min 18s | |
| 72.8100 | ResNet34 | ResNet | 21.3 M | 100 epochs | 3h 18s | |
| 71.8400 | GoogLeNet | GoogLeNet | 6.4 M | 100 epochs | 2h 23min 33s | |
| 71.2900 | RegNetY_400MF | RegNet | 5.7 M | 100 epochs | 3h 47min 37s | |
| 70.2500 | VGG13 | VGG | 9.5 M | 100 epochs | 56min 51s | |
| 68.8900 | VGG16 | VGG | 14.8 M | 100 epochs | 1h 8min 2s | |
| 67.0200 | VGG11 | VGG | 9.3 M | 100 epochs | 45min 10s | |
| 66.7300 | ShuffleNetV2 | ShuffleNet | 1.4 M | 100 epochs | 1h 26min 15s | |
| 64.4200 | SqueezeNet | SqueezeNet | 781 K | 100 epochs | 1h 1min 44s | |
| 63.5300 | EfficientNet | EfficientNet | 3.6 M | 100 epochs | 2h 12min 24s | |
| 63.2400 | MobileNetV2 | MobileNet | 2.4 M | 100 epochs | 1h 20min 26s | |
| 58.8000 | EfficientNet | EfficientNet | 3.6 M | 100 epochs | 1h 38min 41s | Adam (初期値 0.01) |
※ デフォルトの訓練環境 :
- Tesla T4
- ReduceLROnPlateau
- SGD w/Momentum (初期値 0.05)
research: CIFAR100 結果
SEResNet
SEResNet18
仕様
- Total params: 11,314,012 (2.4M)
- Trainable params: 11,314,012
- Non-trainable params: 0
結果
- SEResNet18
- {‘test_acc’: 0.7337999939918518, ‘test_loss’: 1.1083015203475952}
- 100 エポック ; Wall time: 1h 25min 56s
- Tesla T4
- ReduceLROnPlateau
SEResNet34
仕様
- Total params: 21,498,000 (21.5M)
- Trainable params: 21,498,000
- Non-trainable params: 0
結果
- SEResNet34
- {‘test_acc’: 0.7369999885559082, ‘test_loss’: 1.151079535484314}
- 100 エポック ; Wall time: 3h 12min 40s
- Tesla T4
- ReduceLROnPlateau
RegNet
RegNetX_200MF
仕様
- Total params: 2,355,156 (2.4M)
- Trainable params: 2,355,156
- Non-trainable params: 0
結果
- RegNetX_200MF
- {‘test_acc’: 0.7339000105857849, ‘test_loss’: 1.152081847190857}
- 100 エポック ; Wall time: 2h 8min 30s
- Tesla T4
- ReduceLROnPlateau
RegNetX_400MF
仕様
- Total params: 4,813,988 (4.8M)
- Trainable params: 4,813,988
- Non-trainable params: 0
結果
- RegNetX_400MF
- {‘test_acc’: 0.732200026512146, ‘test_loss’: 1.1259433031082153}
- 100 エポック ; Wall time: Wall time: 3h 19min 18s
- Tesla T4
- ReduceLROnPlateau
RegNetY_400MF
仕様
- Total params: 5,749,012 (5.7M)
- Trainable params: 5,749,012
- Non-trainable params: 0
結果
- RegNetY_400MF
- {‘test_acc’: 0.7128999829292297, ‘test_loss’: 1.2059353590011597}
- 100 エポック ; Wall time: Wall time: 3h 47min 37s
- Tesla T4
- ReduceLROnPlateau
ResNet
ResNet18
仕様
- Total params: 11,220,132 (11.2 M)
- Trainable params: 11,220,132
- Non-trainable params: 0
結果
- ResNet18
- {‘test_acc’: 0.7301999926567078, ‘test_loss’: 1.1373273134231567}
- 100 エポック ; Wall time: 1h 39min 34s (‘Tesla M60’ x 2)
- ReduceLROnPlateau
ResNet34
仕様
- ResNet34
- Total params: 21,328,292 (21.3 M)
- Trainable params: 21,328,292
- Non-trainable params: 0
結果
- ResNet34
- {‘test_acc’: 0.7281000018119812, ‘test_loss’: 1.155539631843567}
- 100 エポック ; Wall time: 3h 18s
- Tesla T4
- ReduceLROnPlateau
ResNeXt
ResNeXt29_2x64d
仕様
- Total params: 9,221,028 (9.2M)
- Trainable params: 9,221,028
- Non-trainable params: 0
結果
- ResNeXt29_2x64d
- {‘test_acc’: 0.7299000024795532, ‘test_loss’: 1.0691789388656616}
- 100 エポック ; Wall time: 3h 51min 18s
- Tesla T4
- ReduceLROnPlateau
ResNeXt29_4x64d
仕様
- Total params: 27,288,996 (27.3M)
- Trainable params: 27,288,996
- Non-trainable params: 0
GoogLeNet
仕様
- Total params: 6,402,564 (6.4M)
- Trainable params: 6,402,564
- Non-trainable params: 0
結果
- GoogleNet
- {‘test_acc’: 0.7184000015258789, ‘test_loss’: 1.179699182510376}
- 100 エポック ; Wall time: 2h 23min 33s
- Tesla T4
- ReduceLROnPlateau
ResNet with Stochastic Depth
仕様
- Total params: (11.2M)
- Trainable params:
- Non-trainable params: 0
結果
- stochastic_depth_resnet18
- {‘test_acc’: 0.7181000113487244, ‘test_loss’: 1.0404026508331299}
- 100 エポック ; Wall time: 1h 30min 58s
- Tesla T4
- ReduceLROnPlateau
VGG
VGG11
仕様
- Total params: 9,277,284 (9.3 M)
- Trainable params: 9,277,284
- Non-trainable params: 0
結果
- VGG11
- {‘test_acc’: 0.670199990272522, ‘test_loss’: 1.3739653825759888}
- 100 エポック ; Wall time: 45min 10s
- Tesla T4
- ReduceLROnPlateau
VGG13
仕様
- VGG13
- Total params: 9,462,180 (9.5 M)
- Trainable params: 9,462,180
- Non-trainable params: 0
結果
- VGG13
- {‘test_acc’: 0.7024999856948853, ‘test_loss’: 1.2473818063735962}
- 100 エポック ; Wall time: 56min 51s
- ReduceLROnPlateau
ShuffleNet
- Total params: 1,360,896 (1.4M)
- Trainable params: 1,360,896
- Non-trainable params: 0
結果
- ShuffleNetV2
- {‘test_acc’: 0.6672999858856201, ‘test_loss’: 1.4519164562225342}
- 100 エポック ; Wall time: 1h 26min 15s
- Tesla T4
- ReduceLROnPlateau
SqueezeNet
仕様
- Total params: 781,156 (781 K)
- Trainable params: 781,156
- Non-trainable params: 0
結果
- SqueezeNet
- {‘test_acc’: 0.6442000269889832, ‘test_loss’: 1.5194581747055054}
- 100 エポック ; Wall time: 1h 1min 44s
- Tesla T4
- ReduceLROnPlateau
MobileNet
仕様
- Total params: 2,369,380 (2.4M)
- Trainable params: 2,369,380
- Non-trainable params: 0
結果
- MobileNetV2
- {‘test_acc’: 0.6323999762535095, ‘test_loss’: 1.4939695596694946}
- 100 エポック ; Wall time: 1h 20min 26s
- Tesla T4
- ReduceLROnPlateau
以上