Open-Assistant v0.0.3 : タスク : アシスタントの返答の分類 他

by

Open-Assistant v0.0.3 : タスク : アシスタントの返答の分類 他 (翻訳/解説)

翻訳 : (株)クラスキャット セールスインフォメーション
作成日時 : 06/30/2023 (v0.0.3-alpha33)

* 本ページは、LAION-AI / Open-Assistant の以下のドキュメントを翻訳した上で適宜、補足説明したものです：

* サンプルコードの動作確認はしておりますが、必要な場合には適宜、追加改変しています。
* ご自由にリンクを張って頂いてかまいませんが、sales-info@classcat.com までご一報いただけると嬉しいです。

 

クラスキャット 人工知能 研究開発支援サービス

◆ クラスキャット は人工知能・テレワークに関する各種サービスを提供しています。お気軽にご相談ください :

◆ 人工知能とビジネスをテーマに WEB セミナーを定期的に開催しています。スケジュール。
  • お住まいの地域に関係なく Web ブラウザからご参加頂けます。事前登録 が必要ですのでご注意ください。

◆ お問合せ : 本件に関するお問い合わせ先は下記までお願いいたします。

  • 株式会社クラスキャット セールス・マーケティング本部 セールス・インフォメーション
  • sales-info@classcat.com  ;  Web: www.classcat.com  ;   ClassCatJP

 
Open-Assistant   

 

Open-Assistant v0.0.3 : タスク

アシスタントの返答の分類

このタスクでは、他の人により書かれたランダムなメッセージが示されます。このメッセージはアシスタントからの返答を模倣し、ユーザからの以前のプロンプトに対処しています – アシスタントの返答 です。貴方のジョブは、スパム, PII や性的コンテンツのような適用可能なラベルを含め、品質や丁寧さのようなパラメータをランク付けすることです。

返答が事実として正確か決定できない場合には、代わりにスキップしてください。ラベルの定義が不確かであれば、ここ で定義を調べてください。

ChatGPT のような他のチャットボットから生成された返答は 許容されず、多くの場合プロバイダーのサービスの規約に反します。LLM から生成された答えはそれに応じてペナルティが課されるべきです。メッセージが人間により書かれたか判断する ZeroGPT のような検出器を使用することができます – それらのツールは確実なものではなく、人間が書いたテキストを機械生成として誤認する可能性、その逆の可能性もあることに留意してください。

提出する前に ガイドライン を必ず読んでください。

 

初期プロンプトとユーザ返答の分類

このタスクでは、他の人により書かれたランダムなメッセージが示されます。このメッセージはアシスタントに向けられるリクエストや質問を模倣しています – プロンプト です。このプロンプトは会話のはじめか、アシスタントからのメッセージへの返答のいずれかです。貴方のジョブは、スパム, PII や性的コンテンツのような適用可能なラベルを含め、品質や丁寧さのようなパラメータをランク付けすることです。

ラベルの定義が不確かであれば、ここ で定義を調べてください。

提出する前に ガイドライン を必ず読んでください。

 

アシスタントの返答の提供

このタスクでは、チャットボットの役割を果たします – アシスタントです。貴方はユーザからのメッセージ – プロンプト を見ます。貴方のジョブは与えられたプロンプトに返答を提供することです。返答はできる限りガイドラインに準拠しながらユーザのリクエストに対応する必要があります。

メッセージをフォーマットするために Markdown を使用できることを忘れないでください。これは貴方の返答をかなり読みやすくすることができます。コードブロックを挿入する場合は、コードに シンタックスハイライト を与えるために言語指定を追加します。サポートされている言語とそれらの略称の完全なリストは ここ で見つけられます。

幾つかのエッジケースに対応したサンプルは ここ で見つかります。

提出する前に ガイドライン を必ず読んでください。

 

初期プロンプトとユーザ返答の提供

これらのタスクでは、チャットボットと会話する人 – ユーザ の役割を果たします。貴方がユーザ返答を提供している場合、貴方が模倣しているユーザに既に返答しているアシスタントからのメッセージを見ます。貴方のジョブはアシスタントに明確なリクエストや質問 – プロンプト を提供するメッセージを作成することです。アシスタントに日常的に発生するかもしれない多様な課題を与え、ガイドラインに違反することを避けるようにしてください。

ユーザ返答を提供するとき、貴方のものの前の少なくとも一つの更なるプロンプトがあります。貴方が提出している返答は同じユーザからのものと仮定されていることに留意してください、従って自然に発生する可能性があるフォローアップ質問をするようにしてください。

提出する前に ガイドライン を必ず読んでください。

 

アシスタントの返答の評価

このタスクでは、ユーザとアシスタント間の会話が示されます。その下に、少なくとも 2 つの アシスタントの返答 – アシスタントの役割を果たした人により書かれたメッセージがあります。貴方のジョブは返答を、それらがどのくらい上手くガイドラインに準拠しているかに基づいてランク付けすることです、最初の返答がベストで、最後がワーストです。

何よりもまず、返答は前のプロンプトにより与えられたリクエストも満たす必要があり、特に要求されない限りはどのような事実の不正確さも含んではなりません。更に、返答の順序を決めるためにガイドラインで説明されている他の様相にも注意する必要があります。

もし返答が初期のテキスト領域よりも長い場合には、完全なメッセージを見るために各返答の右側にある “…” シンボルをクリックしてください。ベストとワーストのアシスタントの返答をソートするだけでなく、各返答を比較してランキングを確実に決定してください。

提出する前に ガイドライン を必ず読んでください。

 

以上