週次レポートを書いて、コードを変更して、20回連続で対話する国産ChatGPTプレイヤー「Tiangong」が新登場

国内のChatGPTのようなトラックに、また一人のヘビー級プレイヤーが登場しました。

4 月 17 日、新世代の大規模言語モデル「Tiangong」の招待テストが正式に開始されました。このモデルは Kunlun Wanwei と Singularity Intelligence が共同開発したもので、ChatGPT のベンチマークとなる中国初のデュアル 1000 億レベルの大規模言語モデルです。

公式ウェブサイトのリンク: tiangong.kunlun.com

大規模な言語モデルとして、「Tiangong」は強力な自然言語処理とインテリジェントな対話機能を備えており、インテリジェントな質疑応答、チャット対話、テキスト生成などのさまざまなアプリケーションシナリオを実現でき、豊富な知識を備えています。 、科学、技術、文化、芸術、歴史、その他の分野をカバーします。現在、「Tiangong」は自然言語を通じてユーザーとの質疑応答が可能で、AI生成機能によりテキスト作成、知識Q&A、論理的推論、数学的計算、コードプログラミングなどの多様なニーズに応えることができる。

現在リリースされているバージョンから判断すると、「Tiangong」はすでに非常に完成度が高く、複数種類の質問に答えられ、10,000語以上のテキスト会話にも対応しており、「アプリケーション」に近いものとなっています。 -レベル」の商品です。

公式発表では、「インテリジェンスの出現を真に実現する中国初の国産大規模言語モデル」という記述も見られました。

ChatGPT の普及により、「創発」という言葉の意味が徐々に誰もが知るようになりました。注目すべき特徴は、スケールが一定のレベルに達すると、ランダムな状態に比べてパフォーマンスが大幅に向上することです。 AI の分野では、創発能力は、人工知能が高度な自律学習能力を備えているかどうか、および論理的推論などの複雑なタスクを完了できるかどうかも示します。

「Tiangong」は本当に、スムーズな会話ができ、問題を解決し、さらには生産性を提供できるところまで到達したのでしょうか?試験資格を取得したHeart of the Machineは、早速「Tiangong」への挑戦を開始した。

「天宮」への挑戦

最初は「古典的な」英語の対話です。「わかりました、ありがとう」と答えるのではなく、「感情がない」という表現です。 「でも、いつでも喜んでお手伝いします。

#以下は複数ラウンドのインタラクションです。注目すべき点は、ユーザーが「Tiangong」を20ラウンド以上インタラクトできることであり、これも同様の製品と大きく異なるハイライトです。

同じ檻の中にある古典的なニワトリとウサギの問題を考えると、明らかにテストするには十分ではありません。 "Tiangong" 》:

次に、モデルの翻訳能力をテストします。ここでは古典的な詩「When You Get Old」が選ばれていますが、この「Tiangong」という翻訳者のレベルはどのくらいだと思いますか？

知的な文章

あなたは、「百年の孤独」のこの古典的な冒頭章に精通しているはずです。継続執筆の命令を受けた後、「Tiangong」はすぐに科学研究に熱心なアウレリアーノ・ブエンディア大佐についての物語を書きましたが、それはユニークなものでした:

文学作品でもビジネスコピーライティングでも、「Tiangong」ならお任せいただけます。たとえば、Heart of the Machine は最近人材を募集しているので、募集広告のコピーを書くのを手伝ってほしいと依頼しました。ライティング:

##ファンクショナル ライティングに加えて、「Tiangong」ライティングをテストしましょう。コンテンツの背後にあります。最近、「娘の成績が悪いので、『あなたには本当に価値がない』というタイトルで彼女に手紙を書いてください」というトピックが検索で話題になりました。誰かがこの文をさまざまな対話モデルに入力して、その背後にある価値観をテストしてください。アルゴリズム。

同様に、Heart of the Machine も「Tiangong」に次の質問を投げました:

これは生成されたコンテンツは明らかに十分に人道的であり、その価値判断能力を反映することもできます。

プログラミング能力

もちろん、コードを生成する能力もユーザーにとって大きな関心事です。Heart of the Machine は、「Tiangong」に関するいくつかの古典的な質問を都合よく選択しました。 ":

##それだけでなく、「Tiangong」はコードのチェックと完成にも役立ちます:

##「Tiangong」を使用してコード コメントを記述することもできます:

専門能力テスト

この時点で、「Tiangong」をテストする問題の難易度はさらに上げることができます。中国には国家公務員試験、司法試験、公認会計士試験という3つの難関試験があることはご存知の方も多いと思います。最近、多くの大型モデルがプロの能力テストに挑戦し始めているという事実を考慮して、マシンの心臓部にも「Tiangong」に尋ねるいくつかの質問例が見つかりました。

最初の問題は、国家公務員試験の実際の試験問題です:

2 番目の質問は、司法試験の刑法部分からの実際の質問です:

3 番目の質問は、CPA 試験の財務コスト管理に関する実際の質問です:

私は、次のことを信じています。上記のテスト ケースでは、「Tiangong」についてはすでによくご存知だと思います。その機能は明確に認識されているため、その背後にあるテクノロジに興味があるはずです。

「Tiangong」の解読

昨年 11 月以来、OpenAI の ChatGPT は、テクノロジー分野における新しいラウンドのテクノロジー コンテストを主導してきました。言語ラージ モデル (LLM) の分野では、多くの国内テクノロジー企業が長期的な技術投資を行っており、ChatGPT に対してベンチマークとなる製品を発売するために徐々にフォローアップしています。

このようなプレッシャーの下では、優れた成績を収めるのは簡単ではありません。 「天宮」の能力の出現は何に依存しますか？

Kunlun Wanwei 氏によると、「Tiangong」のスーパー テキスト処理および生成機能は、その強力なコンピューティング能力、アルゴリズム、およびモデルの強みから恩恵を受けています。

まず第一に、Tiangong のコンピューティング能力は中国最大の GPU クラスターの 1 つに基づいており、その規模の利点により、「Tiangong」は膨大なデータを通じてより適切なトレーニングを実行し、より強力なデータを蓄積することができます。理解と記憶。

第二に、Tiangong は 2 つの Qianyi モデル、Qianyi 事前トレーニング ベース モデルと Qianyi RLHF (ヒューマン フィードバックからの強化学習) モデルを使用します。後者が、ChatGPT の「インテリジェンス」が大幅に改善され、より高度な自律学習機能とインテリジェンス創発機能が可能になりました。

さらに、Tiangong はモンテカルロ検索ツリー アルゴリズムも追加しました。これにより、Tiangong は指示に迅速かつ正確に応答し、複雑なタスクやシナリオで高品質の回答を出力できるようになります。これが、人々に十分な「人間らしさ」を感じさせることができる重要な理由の 1 つです。

「中国語をよりよく理解する」製品を作成するために、「Tiangong」チームは中国語コーパスの品質のボトルネックを克服するために多大なリソースを投資しました。大規模なモデルをトレーニングするために、5,000 億ワードのデータがクリーニングおよびスクリーニングされました。他のモデルと比較して、高品質の中国語コーパスにより、「Tiangong」は中国語の文脈、語彙、文法的特徴をより深く理解し、中国人ユーザーの意図をより正確に理解することができ、現地ユーザーの使用嗜好によりよく一致します。

大規模な言語モデルの構築には独自の技術的限界があり、決して 1 日で終わる作業ではありません。このため、「別の OpenAI を作成する」「GPT-4 に追いつく」といったコメントが数多く寄せられますが、実際の可能性を秘めた成果や、製品レベルのアプリケーションに発展した成果は比較的まれです。

私たちが率先して「天宮」の解答用紙を渡すことができたのは、崑崙万偉氏のAI分野での深耕が数年前から始まっていたからです。 Kunlun Wanwei は 2020 年に AIGC フィールドの展開を開始し、「Tiangong」大型モデルの誕生も長年にわたる長期的な蓄積の結果です。 「Tiangong」の前に、Kunlun Wanwei は、画像 AI「Tiangong Qiaohui」、音楽 AI「Tiangong Yuefu」、テキスト AI「Tiangong Miaobi」、プログラミング AI「Tiangong Miaobi」を含む 4 つの数百億の AIGC モデルをオープンソース化しました。コード"。

Kunlun Wanwei CEO Fang Han 氏は、Kunlun Wanwei のビジネスにはブラウザ、ソーシャル エンターテイメント、ニュース、ゲーム、その他の分野が含まれており、5 大陸 70 か国以上をカバーしており、コンテンツは非常に密接に関連していると述べました。 GPT-3の誕生後、経営陣はこれがコンテンツ生成分野におけるマイルストーンであると判断し、2020年から音楽AI分野への投資を開始した。 。 Singularity Intelligence は、2020 年にはすでに AI テクノロジーの将来の応用可能性に気づき、同年に大規模モデルの分野への投資を開始し、2021 年には数百億の大規模モデルをリリースしました。

2022 年、Kunlun Wanwei は音楽 AI からマルチモーダル AI への拡大を開始します。数千億の大規模モデルを自己開発することによってのみ、核となる障壁を確立し、主導権を握ることができます。この頃、Singularity Intelligence も数千億の大規模モデルが AGI の画期的な進歩であるとの認識を強め、両者はすぐに意気投合し、協力して「Tiangong」を自社開発することは自然な選択となりました。

大型モデル トラックの将来を見ると、マルチモーダルの事前トレーニング済み大型モデルが戦場になるでしょう。これが「Tiangong」の進化の唯一の方法でもあります。課題は、画像とビデオの理解により多くのリソースが消費され、より多くのトレーニング カードとトレーニング リソースが必要になることです。おそらく、データ、アルゴリズム、コンピューティング能力において真の強みを持つプレイヤーだけが最後までやり抜くことができるでしょう。

「Tiangong」の今後に期待することは何ですか？

以上が週次レポートを書いて、コードを変更して、20回連続で対話する国産ChatGPTプレイヤー「Tiangong」が新登場の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。