国内の ChatGPT の展開には 6G のビデオ メモリのみが必要です。 ChatYuan モデルはダウンロード可能です: 業界初の機能的対話オープンソースの中国語大規模モデル

少し前に、Yuanyu インテリジェント開発チームは、ChatGPT に似た 機能対話大型モデル ChatYuan をトレーニングし、Web バージョンでトライアル インターフェイスをオープンしました。

ChatYuan を自分のマシンにデプロイできるようになりました。

#モデルは質疑応答のシナリオで使用でき、コンテキストに基づいて対話やさまざまな生成タスクを実行できます。クリエイティブライティングを含む、法律や新型コロナウイルス感染症などの分野の質問にも答えることができます。

また、すべての中国語タスクでゼロサンプル学習をサポートしています。ユーザーはプロンプトを提供することで使用できます。テキスト生成、情報抽出、理解のカテゴリで約 30 種類の中国語タスクをサポートしています。 . .

ChatYuan は、PromptCLUE-large に基づいてさらにトレーニングされており、数億の機能的な質問と回答、およびマルチラウンドの対話データが組み合わされています。モデル パラメータは 7 億 7,000 万、ビデオ メモリは約6G に対応し、民間のグラフィック カードをロードして使用することができます。このモデルは現在ダウンロード可能です。

PromptCLUE は、1,000 億トークンの中国語コーパスで事前トレーニングされ、合計 1 兆 5,000 億の中国語トークンを学習し、数百のタスクについて Prompt タスクベースのトレーニングを実施しました。

分類、センチメント分析、抽出などの理解タスクではラベル システムをカスタマイズでき、さまざまな生成タスクではサンプリングを自由に生成できます。

使用方法

1. Github

##プロジェクト アドレス: https://github.com/clue-ai/ChatYuan

2.Huggingface

# プロジェクトアドレス: https://huggingface.co/ClueAI/ChatYuan- large-v1

#3 .ModelScope

プロジェクト アドレス: https://modelscope.cn/models/ClueAI/ChatYuan -large

モデルの読み込み:

モデルの使用予測推論方法:

##4. PaddlePaddle

##プロジェクトアドレス:

https://aistudio.baidu.com /aistudio/projectdetail/ 5404182

モデルアドレス: https://huggingface.co/ClueAI/ChatYuan-large-v1-paddle

以降使用モデルをトレーニングするためのデータを用意する

1. データを整理する

データを 2 つの形式で構成される統一フォーマットに整理します。部分: 入力 (Input) と出力 (Output)。

1 回の質問と回答または生成の場合:

入力: タスクの説明の入力テキスト

出力: システムが予測する必要があるテキスト (以下の図の「Xiaoyuan」の後の内容など)。

#複数ラウンドのダイアログの場合:

#入力: タスクの説明の上にテキストを入力します

出力: システムが予測する必要があるテキスト (下図の「Xiaoyuan」の後の内容など)。

#シングルラウンドダイアログのデータ形式:

##複数ラウンドの対話データ形式:

##2. トレーニング モデル

トレーニング コードについては、次を参照してください:

トレーニングに pCLUE データ セットを使用する予測と効果検証、pytorch実装 - オンラインcolab。

Github プロジェクト: https://colab.research.google.com/drive/1lEyFhEfoc-5Z5xqpEKkZt_iMaojH1MP_ ?usp=sharing

例

==========例1======= = ==

#ユーザー:

何ができますか

#シャオユアン:

こんにちは！私はAIユアンユです。あなたの質問に答えたり、記事を書いたり、課題を書いたり、翻訳したり、法律やその他の分野の問題に関する情報を提供したりできます。

#==========例 2=========

##ユーザー:

#冬について詩を書いてください

シャオ ユアン:

冬の夜は静かで寒い、空には雲が浮かんでいる、

凍った白い雪

雪のように冷たい。

雪は溶けて氷になる、

雪の結晶が降るように、

寒い冬に,

春の喜びを感じてください。

冬になると、

風と雪が徐々に静まり、

静寂が訪れました。 ,

幸せと暖かさを家にもたらします。

#==========例 3=========

##ユーザー:

# 幼児教育専攻のインターンシップ中に学生とのトラブルが発生する場合がありますので、改善策を提案してください。 800 ワード

シャオ ユアン:

幼児教育専攻のインターンシップでは、学生といくつかの問題が発生します。学生の専門知識の不足、協調性の欠如、基本的な責任感の欠如など、これらの問題を解決するための対策を講じる必要があります。

まず、インターンシップのプロセス中に、学生のチーム意識を養い、学生と教師の間の協力を強化し、保護者とのコミュニケーションを強化し、コミュニケーションスキルを向上させる必要があります。また、生徒の自主性を強化し、生徒が自ら考える力を身につけさせ、教師や保護者とのコミュニケーションを身につけ、自主性を養うことも必要です。

また、学生がより社会と触れ合い、より多くの社会活動に参加し、自らの学びを深められるよう、日々の業務においても学生に適切な機会や機会を提供しなければなりません。社会と学校への理解、彼らの自発性、積極的かつ革新的な精神を理解し、育成します。

最後に、インターンシップ中に学生が抱える問題、特に学生の協力の欠如、依存、共有方法がわからない、先延ばしなどにも注意を払う必要があります。これらの問題を改善するために合理的な改善策を講じます。

テクノロジーとトレーニング プロセス

ChatYuan は、PromptCLUE に基づいてさらにトレーニングされて得られたモデルです。テキストの理解と情報抽出のタスクが削除され、質問と回答、対話、およびさまざまな生成タスクの学習とトレーニングが強化されます。干渉防止データの追加により、必要に応じてモデルが無関係なコンテキストを無視できるようになります。ユーザーのフィードバックからの学習が追加されます。データにより、モデルは特定の一般的な言語理解機能と特定のタスクの生成機能を備えるだけでなく、ユーザーの意図によりよく応答できるようになります。

#PromptCLUE の学習プロセス

#

1. 3 つの主要な統合: 統合モデル フレームワーク (テキスト対テキスト)、統合タスク フォーム (プロンプト)、統合アプリケーション メソッド (ゼロショット/フューショット) (T0)
2. 大スケールの事前トレーニング: t5-large バージョンに基づいて、数百の G 中国語コーパスが使用され、100 万ステップがトレーニングされ、1.5 兆の中国語単語レベルのトークンが累積的にトレーニングされました。
3. 大規模なタスク データ: 16 種類のタスク、数百のタスク、蓄積された 1 億レベルのタスク データを使用
4. ハイブリッド事前トレーニング: 一方では下流のタスクが事前トレーニング コーパスとして使用され、他方では下流のタスクがトレーニング前コーパスとトレーニング前コーパスが一緒にトレーニングされてタスクが削減される 災害による忘れ物が発生し、トレーニング前タスクと下流タスクの間の距離が短縮され、下流タスクへの適応が向上する (ExT5)
5. ハイブリッド サンプリング: 量が大きく異なる多くのタスクに対してデータ、各トレーニング バッチ内のすべてのトレーニング バッチを使用します。タスクは割合に従ってサンプリングされ、タスクのデータ量に応じてスムーズ サンプリングが実行されます。同時に、タスク データ量のサンプリング プールの上限は制限されます。スムーズなサンプリングにより、偏ったタスク トレーニングの害を軽減でき、各バッチ内でのトレーニングにより、異種タスク間でのトレーニングのマイナスの転送を軽減できます (T5)
6. 段階的トレーニング: 一方で、事前トレーニングを指します。フェーズでは、事前トレーニング (Bert) を高速化するためにトレーニング シーケンス長 (128 および 512) の段階的調整が含まれますが、一方、ダウンストリーム トレーニング フェーズでは、学習率とシーケンス長の変更、およびデータ量制限の減少が含まれます。下流タスク: さまざまな下流タスクへの適応が向上します。
7. 言語モデルのトレーニングを増やす: t5.1.1 を参照。教師なしトレーニングに Span Corrpution 構築メソッドを使用することに加えて、プレフィックス LM メソッドを使用してトレーニングを行い、タスク (LM) を生成する能力を強化します。適応)
8. モデルのエンコーダーとデコーダーのトレーニングを強化します。下流のタスク データに基づいて、それぞれ Data_text と Data_target の事前トレーニング データ コーパスを構築し、それらを事前トレーニングに追加して、モデルのそれぞれを強化します。エンコーダ理解能力とデコーダ生成能力 (UIE を参照)
9. モデル中国語辞書の再構築: センテンスピースを使用して、Qianyi トークンに基づくモデル辞書を学習および構築します。これは、中国語の習慣により一致しています

フォローアップ

現在のバージョンでは、質疑応答や対話、さまざまなクリエイティブライティングやテキスト生成が可能ですが、オンライン版と比較して意図理解・生成機能は依然として充実しています。状況によっては改善の余地が多く、推論や複雑なタスクをうまく実行できないこともあります。既存のバージョンはフィードバックに基づいてさらに改善されます。

以上が国内の ChatGPT の展開には 6G のビデオ メモリのみが必要です。 ChatYuan モデルはダウンロード可能です: 業界初の機能的対話オープンソースの中国語大規模モデルの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。