HuggingFace Transformers 4.30 : リリースノート – 100k, エージェント改良, Safetensors コア依存関係

by

HuggingFace Transformers 4.30 : リリースノート – 100k, エージェント改良, Safetensors コア依存関係 (翻訳/解説)

翻訳 : (株)クラスキャット セールスインフォメーション
作成日時 : 07/08/2023 (v4.30.0 – 2023/06)

* 本ページは、HuggingFace Transformers の以下のドキュメントを翻訳した上で適宜、補足説明したものです：

* サンプルコードの動作確認はしておりますが、必要な場合には適宜、追加改変しています。
* ご自由にリンクを張って頂いてかまいませんが、sales-info@classcat.com までご一報いただけると嬉しいです。

 

クラスキャット 人工知能 研究開発支援サービス

◆ クラスキャット は人工知能・テレワークに関する各種サービスを提供しています。お気軽にご相談ください :

◆ 人工知能とビジネスをテーマに WEB セミナーを定期的に開催しています。スケジュール。
  • お住まいの地域に関係なく Web ブラウザからご参加頂けます。事前登録 が必要ですのでご注意ください。

◆ お問合せ : 本件に関するお問い合わせ先は下記までお願いいたします。

  • 株式会社クラスキャット セールス・マーケティング本部 セールス・インフォメーション
  • sales-info@classcat.com  ;  Web: www.classcat.com  ;   ClassCatJP

 

HuggingFace Transformers 4.30 : リリースノート – 100k, エージェント改良, Safetensors コア依存関係

100k

Transformers は GitHub で丁度 100k スターに到達し、記念に transformers 周りの 100 プロジェクトをハイライトすることを望みました、そしてそのために awesome-transformers ページを作成することを決定しました。

私たちはそのリストにプロジェクトを追加する PR を受け付けています！

 

4-bit 量子化と QLoRA

@TimDettmers による bitsandbytes を活用して、transformers モデルに 4-bit サポートを追加しています！

  • 4-bit QLoRA via bitsandbytes (4-bit ベースモデル + LoRA) by @TimDettmers in #23479

 

エージェント

エージェント・フレームワークは改良されて安定化し続けています。バグ修正の中で、ここには追加された新しい重要な機能があります :

  • ローカルエージェント機能、API に依存する代わりに transformers から生成モデルを直接ロードします。
  • プロンプトがハブ上でホストされるようになりました、これはつまり誰もプロンプトをフォークして、他のコミュニティ貢献者が再利用できるようにそれらを更新することができます。
  • Azure OpenAI エージェントをサポートするために AzureOpenAiAgent を追加します。
  • Add local agent by @sgugger in #23438
  • Enable prompts on the Hub by @sgugger in #23662
  • Add AzureOpenAiAgent by @sgugger in #24058

 

Safetensors

safetensors ライブラリは機械学習テンソルに対する安全なシリアライゼーション・フレームワークです。それは監査されていて (audited) 幾つかの組織 (Hugging Face, EleutherAI, Stability AI) についてデフォルトのシリアライゼーション・フレームワークになります。

それは transformers のコア依存関係になりました。

 

新モデル

Swiftformer

SwiftFormer 論文は新規の効率的な加算アテンション機構を導入しています、これは自己アテンション計算における二次行列の乗算演算を線形の要素毎の乗算に効果的に置き換えます。これに基づいて ‘SwiftFormer’ と呼ばれる一連のモデルが構築され、これは精度とモバイル推論スピードの両方の観点で最先端の性能を実現しています。それらの小さい亜種でさえ iPhone 14 上で 0.8 ms のレイテンシーだけで 78.5% top-1 ImageNet1K 精度を獲得します、これは MobileViT-v2 に比べてより正確で 2x 高速です。

 

Autoformer

このモデルは Transformer を深層分解 (deep decomposition) アーキテクチャとして増強し、これは予測過程でトレンドと seasonal (季節の) 成分を漸進的に分解することができます。

 

MobileViTv2

MobileViTV2 は MobileViT の 2 番目のバージョンで、MobileViT のマルチヘッド自己アテンションを separable (分離可能) 自己アテンションで置き換えることによって構成されています。

 

PerSAM

PerSAM は dreambooth-like なパーソナライゼーションを可能にし、一つだけのサンプルを使用して新しい画像のコンセプトをセグメントすることを可能にするために、SAM への最小限の変更を提案します。

 

以上