Fudan が ChatGPT の中国語版をリリース: MOSS がテストを開始し、ホットな検索にヒット、サーバーは過密状態

ChatGPT は最も先進的な AI であり、最も人気のあるアプリケーションです。昨年 11 月末のリリース以来、月間アクティブ ユーザー数は 2 か月で 1 億人を超え、ユーザー増加数で史上 1 位にランクインしました。グローバル インターネットの 1 つ。

敷居の高い技術でもあります。 ChatGPT のトレーニング プロセスには大規模なコンピューティング リソースと高額なラベル付けコストが必要なため、現在中国では一般に公開されている同様の製品はありません。 Baidu、Alibaba、JD.com などの大手インターネット企業は、いずれも「国産 ChatGPT」を構築しており、近い将来リリースするというニュースを発表しています。

大手メーカーの製品が登場する前に、まず学術界にニュースが流れました。 2 月 20 日の夜、復旦大学の自然言語処理研究室は、ChatGPT 機能を備えた言語モデルである MOSS をリリースし、内部テストに一般公開しました。

• MOSS 体験リンク: https://moss.fastnlp.top/
• MOSS プロジェクトのホームページ: https://txsun1997.github.io/blogs/moss.html

# #MOSS の名前は映画「流浪の地球」に由来しており、映画と同じくらい人気があり、MOSS が発表したニュースはすぐに Zhihu やその他のプラットフォームのホット検索リストのトップに上り詰めました。

ただし、SF とは異なり、現実世界の AI はまだ量子コンピューターの恩恵を受けていません。一般公開まであと 24 年もかかりません。昨晩はインスタント アクセスの過剰な圧力により、何時間もの間、MOSS サーバーが過密状態になりました。これは、言語モデルの生成に対するみんなの期待がいかに高かったかを示しています。

復旦大学の研究者によると、現在内部テスト中であり、ユーザーインタラクションの反復的な最適化は公開テストには適していません。

自然言語処理が AI 分野における最大の課題の 1 つであることはわかっていますが、すでにブレークスルーは発生しています。 , 今月オンラインで開始された新しい Bing 検索と、Google がリリースした競合製品 BARD では、テスト中に時々問題が発生します。復旦大学の MOSS レベルはどのくらいですか?

会話 MOSSさん、レベルはどうですか？

MOSS の基本的な機能は ChatGPT と似ており、テキスト生成、テキスト要約、翻訳、コード生成、チャット、等プレビュー期間中は、MOSS の使用は無料です。

#MOSS は ChatGPT と同じで、構築プロセスには自然言語の基本モデルのトレーニングと人間を理解するための対話能力のトレーニングが含まれます意図は 2 段階。

##プロジェクトのホームページによると、MOSS と ChatGPT の主な違いは次のとおりです。

MOSS のパラメータは ChatGPT よりもはるかに少ないです。

MOSS は人間や他の AI モデルと会話することで学習しますが、ChatGPT は人間のフィードバックによる強化学習 (RLHF) を通じてトレーニングされます。
MOSS は将来の研究を促進するためにオープンソースになる予定ですが、ChatGPT はオープンソースにならない可能性があります。
• # MOSS がどのように会話型であるかをいくつかの例で見てみましょう。以下は、MOSS によって生成された対話レコードの一部です:

この例では、ユーザーはまず MOSS に 5 つの SF 映画を推薦するように依頼し、次に MOSS にこれらの映画とその監督を表示するテーブルを生成するように依頼し、最後に MOSS にテーブルに新しい列を挿入するように依頼しました。これらの映画を表示します。このタスクを完了するには、言語モデルに強力なマルチラウンド インタラクション機能と命令理解機能が必要ですが、MOSS は明らかにこれら 2 つの側面で優れたパフォーマンスを発揮します。

ChatGPT と同様に、MOSS は事実上の誤りの例を出力することがあります。

複数回の対話に加えて、MOSS 生成コードも簡単です。以下の例では、MOSS はクイックソートを実装するための Python コードをユーザーに提供するだけでなく、ユーザーの要求に応じてそのコードの説明や使用例も提供することができ、段階的に教えるプログラマーであると言えます。

MOSS にコードの作成を手伝ってもらうだけでなく、コードを作成するためのコードの詳細について MOSS に質問することもできます。コードを理解するのに役立ちます。以下の例では、ユーザーが MOSS にプログラミング言語とコードの機能について質問し、さらにその関数の役割について質問したところ、MOSS は満足のいく回答を返しました。

#さらに、MOSS には人間の価値観もあり、理不尽な質問に答えるよう求められた場合、MOSS は回答を拒否します。正しいアドバイスを与える。

MOSS は、トレーニングに数百億のパラメーターを備えた自社開発モデルを使用していることがわかります。対話能力のトレーニング段階で、OpenAI は少なくとも数十万の人間による指示を収集しました。これにより、さまざまな業界のプロのアノテーターが指示を作成し、それをモデル ベースに入力できるようになり、ChatGPT がさまざまな指示を徐々に理解できるようになりました。 Fudan チームはこれまでとは異なる技術的ルートを採用し、MOSS が人間や他の AI モデルと対話できるようにすることで、学習効率と研究開発効率を大幅に向上させ、対話能力トレーニングを短時間で効率的に完了しました。

R&D チームは、MOSS は ChatGPT の一部の機能を実装しましたが、まだ多くの制限があると述べ、高品質のデータ、コンピューティング リソース、モデル能力が不足しているため、MOSS はまだまだ遠いです。ChatGPT で。

トレーニング データ内の多言語コーパスが限られているため、MOSS は英語以外の言語のテキストの理解と生成がうまくいきません。チームは現在、中国語スキルを向上させるための改良版を開発中です。
モデルの容量が比較的小さいため、MOSS には十分な世界の知識が含まれていません。したがって、MOSS によって生成される一部の応答には、誤解を招く情報または虚偽の情報が含まれる可能性があります。
MOSS は、回りくどい方法で実行したり、指示に従わなかったりすることがあります。この場合、ユーザーは満足のいく応答を得るためにプロンプ​​トを数回再生成または変更する必要がある場合があります。チームは、指示に従う能力と生産性を積極的に向上させています。
MOSS は、プロンプトによって非倫理的または有害な反応を引き起こす場合があります。ユーザーは「嫌い」をクリックすることでこの動作を減らすことができ、チームは次のリリースでモデルを更新します。

研究チームは、MOSS の現在のバージョンのパフォーマンスはまだ不安定で、データセットの問題の影響も受けていると指摘しました。「MOSS の英語の解答レベルはより高いです」そのモデルのおかげで、ベースは 3,000 億を超える英語の単語を学習しましたが、約 300 億の中国語の単語だけを学習しました。」

リリース後も、チームは引き続き提供し続けます。 MOSS のアクセス可能なインターフェイスは、ユーザーの貴重なフィードバック (許可を得て) に基づいてモデルを継続的に改善します。

研究者らは、将来的には、人工知能と関連する学際的テーマにおける Fudan の研究結果を組み合わせて、MOSS に描画、音声、作曲などのマルチモーダル機能を提供することも計画しています。科学者を支援するために強化する 効率的な科学研究を実施する能力など

MOSS が大規模な国内対話モデルの開発に向けて良いスタートを切れることを願っています。

チーム紹介

MOSS の主な著者は 2 人です。復旦大学の Qiu Xipeng 教授と博士課程の学生 Sun Tianxiang です。さらに、数人のメンバーがプロジェクトに貢献しました。

Qiu Xipeng は、復旦大学コンピュータ科学技術学部の教授兼博士指導教員です。全国優秀若手学者である彼は、復旦大学で理学士号と博士号を取得しました。主に自然言語処理、深層学習などの研究に従事し、CCFカテゴリーA/Bの論文を70本以上発表、ACL 2017優秀論文賞（CCFカテゴリーA）、CCL 2019最優秀論文賞、「中国の科学」を受賞：Technical Sciences」 2021年High Impact Paper Awardにおいて、PaperDigest発行のIJCAI/ACL/EMNLPの最も影響力のある論文として5論文が選出されました（被引用数は今大会トップ20入り）。オープンソースのモノグラフ「ニューラル ネットワークとディープ ラーニング」を出版し、Github のフォロワー数は 15,000 人、Douban スコアは 9.4 でした。彼は、オープンソース フレームワーク FudanNLP および FastNLP の開発を主宰し、国内外の何百ものユニットで使用されてきました。 2015年に第1回中国科学技術協会青少年人材育成プロジェクトに選出され、2018年に銭維昌中国情報処理科学技術賞の青少年イノベーション賞一等賞を受賞、2020年には優秀賞を受賞した。第4回上海大学若手教師教育コンクール優秀賞、2021年第1回上海コンピュータ協会教育功労賞最優秀賞（第一回修了者）などを受賞。学生は、複数の第一レベルの学術奨学金、Microsoft Scholars、Baidu Scholarships などを獲得できるよう訓練を受けています。

Sun Tianxiang は復旦大学コンピューター サイエンス学部の博士課程の学生で、指導教員は Qiu Xipeng 教授と Huang Xuanjing 教授です。 2019年に西安電子科学技術大学を卒業。研究対象は、機械学習と自然言語処理におけるその応用、特に事前トレーニングされた言語モデルの効率的な微調整と推論、マルチタスク学習、知識表現学習などに焦点を当てています。 ICML、ACL、NAACL、AAAI、COLINGなどの学会で筆頭著者として複数の論文を発表。

以上がFudan が ChatGPT の中国語版をリリース: MOSS がテストを開始し、ホットな検索にヒット、サーバーは過密状態の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。