PyTorch 2.0 リリースノート

by

PyTorch 2.0.0 リリースノート (翻訳)

翻訳 : (株)クラスキャット セールスインフォメーション
作成日時 : 03/16/2023 (v2.0.0)

* 本ページは PyTorch 2.0 リリースノートの Highlights を翻訳したものです：

 

クラスキャット 人工知能 研究開発支援サービス

◆ クラスキャット は人工知能・テレワークに関する各種サービスを提供しています。お気軽にご相談ください :

◆ 人工知能とビジネスをテーマに WEB セミナーを定期的に開催しています。スケジュール。
  • お住まいの地域に関係なく Web ブラウザからご参加頂けます。事前登録 が必要ですのでご注意ください。

◆ お問合せ : 本件に関するお問い合わせ先は下記までお願いいたします。

  • 株式会社クラスキャット セールス・マーケティング本部 セールス・インフォメーション
  • sales-info@classcat.com  ;  Web: www.classcat.com  ;   ClassCatJP

 

PyTorch 2.0 : 次世代リリース。より高速に、より Pythonic に、そしてダイナミックに

ハイライト

We are excited to announce the release of PyTorch® 2.0 (release note) which we highlighted during the PyTorch Conference on 12/2/22! PyTorch 2.0 は同じ eager モード開発とユーザ体験を提供する一方で、PyTorch がコンパイラレベルで内部的に動作する方法を根本的に変えてスーパーチャージし、より高速なパフォーマンスとダイナミック Shape と分散をサポートします。

この次世代リリースは Accelerated Transformers (旧称 Better Transformers) の安定版を含みます ; Beta は PyTorch 2.0 の主要 API として torch.compile、torch.nn.functional の一部として scaled_dot_product_attention 関数、MPS バックエンド、torch.func モジュールの functorch API を含みます ; そして GPU と CPU 上の様々な推論、パフォーマンスと訓練最適化機能に渡る他のベータ/プロタイプ。torch.compile の包括的なイントロダクションと技術的概要については、2.0 Get Started ページ にアクセスしてください。

2.0 と共に、in-tree の PyTorch ドメイン・ライブラリと、TorchAudio, TorchVision と TorchText を含む個別ライブラリへの一連のベータアップデートもリリースしています。TorchX がコミュニティサポート・モードに移行したのでそのアップデートもまたリリースされています。詳細はこの ライブラリ・ブログ で見つかります。

このリリースは 1.13.1 から 4,541 以上のコミットと 428 contributors から成ります。We want to sincerely thank our dedicated community for your contributions. As always, we encourage you to try these out and report any issues as we improve 2.0 and the overall 2-series this year.

要約 :

  • torch.compile は PyTorch 2.0 の主要 API で、モデルをラップしてコンパイルされたモデルを返します。それは完全に付加的な (そしてオプションの) 機能ですので、2.0 は定義により 100% 後方互換です。

  • torch.compile の基盤技術として、Nvidia と AMD GPU による TorchInductor はパフォーマンスの高いコードを生成して低位ハードウェアの細部を隠すために OpenAI Triton 深層学習コンパイラに依存します。OpenAI Triton 生成カーネルは手書きのカーネルや cublas のような特化した cuda ライブラリと同等なパフォーマンスを実現しています。

  • Accelerated Transformers は scaled ドット積アテンション (SPDA) のためのカスタムカーネル・アーキテクチャを使用した訓練と推論のための高パフォーマンスサポートを導入しています。この API は torch.compile() に統合されていますが、モデル開発者は新しい scaled_dot_product_attention() 演算子を呼び出して scaled ドット積アテンション を直接使用することもできます。

  • Metal Performance Shaders (MPS) バックエンドは Top 60 の最も使用される ops の追加サポートとともに Mac プラットフォーム上の GPU accelerated PyTorch 訓練を提供し、300 以上の演算子をカバーします。

  • Amazon AWS は AWS Graviton3 ベースの C7g インスタンス 上の PyTorch CPU 推論を最適化しています。PyTorch 2.0 は Resnet50 と Bert に対する改良を含み、以前のリリースと比較して Graviton の推論パフォーマンスを改良しています。

  • TensorParallel, DTensor, 2D parallel, TorchDynamo, AOTAutograd, PrimTorch と TorchInductor に対する新しいプロトタイプ機能と技術。
 

以上