Tencent Hunyuan 大型モデルが正式に発表され、私たちはその生産性を率先して試しました

先週、国内の大型モデルの第一陣登録が承認され、サービスが社会全体に公開され始め、大型モデルは大規模応用の新たな段階に入った。これまでにアプリケーションをリリースした企業の中には、まだ行動を起こしていない大手テクノロジー企業もあるようです。

2023 年 9 月 7 日、テンセントはテンセント グローバル デジタル エコロジー カンファレンスで渾源大型モデルを正式に発表し、外部に公開しました。世界の Tencent Cloud

1,000 億を超えるパラメーターを持つ大規模モデルとして、Hunyuan は事前トレーニング コーパスで 2 兆を超えるトークンを使用しており、数多くの独自の技術により、強力な中国語作成能力と複雑なコンテキストを獲得しています。優れた論理的思考力と確実な業務遂行能力。

Tencent Group 副社長の Jiang Jie 氏は次のように述べています。「Tencent Hunyuan の大規模モデルは、最初のトークンから始めてゼロからトレーニングされました。私たちはモデルのアルゴリズムからマシンまですべてを習得しました」

大規模なモデルを開いて、すべてが生産性です

Tencent は常にこう述べています。大型模型との関連性についてはすでに方向性が示されており、特別研究も着々と進められている。

この大型モデルが「新技術」でなかったらどのようなレベルなのでしょうか？カンファレンスでは、蒋潔氏が渾源モデルに直接質問して、いくつかの基本情報を明らかにした。そのパラメータ量は数千億に達しており、学習に使用したデータは今年7月時点のものです。さらに、テンセントは、大型モデルの知識が毎月更新されるとも述べました。

シーンに表示されるコンテンツには、Tencent Hunyuan 大型モデル アプレット、Tencent ドキュメントの AI アシスタント、およびTencent カンファレンス AI アシスタント

このサイトが初めて検定資格を取得して試してみたのですが、最初は WeChat アプレットでした。

ミニ プログラムに参加したとき、その内容が他の大規模なアプリケーションと比べても遜色がないことがわかり、嬉しい驚きを感じました。ここでインスピレーションを見つけ、Hunyuan がどのような機能を提供できるかを確認できます。

生産性、生活、エンターテイメントからプログラミング開発まで、そのオープン機能は非常に包括的であると言えます。 1000億レベルの大規模モデルの正体と一致する。それでは、フンユアンは本当にこれらのタスクを効果的に完了できるのでしょうか?

PPT を準備する必要があります。テーマは決めましたが、どこから始めればよいかわかりません。 Hunyuan モデルに質問すると、AI はわずか数秒で 7 つの部分からなるアウトラインを提示し、各部分には細分化の重要なポイントも含まれていました

#Google が arXiv に 9 月に提出した論文「RLAIF: Scaling Reinforcement Learning from Human Feedback with AI Feedback」の要約と導入部分を入力します。これはいくつかの長い段落です。多くの大規模モデルは、それほど多くの入力コンテンツをまったくサポートしていません. ややこしいです. 元達モデルをそのまま要約して中国語に翻訳しました。

おそらく、人工知能が大規模モデルトレーニングにおける人間の強化学習フィードバック (RLHF) の役割を置き換えることができることを意味します。

実践段階 大きなモデルはコードを書くのに役立ちます。それでは、AI にコードを与えて、理解できない、明確にコメントされていない内容を説明させてみましょう:

の数字の意味を詳しく説明します。平方根逆数アルゴリズム (ただし、注釈はよくわかりません)。おそらく、大きなモデルがないと開発ができなくなる日もそう遠くないかもしれません。

次に、Tencent のドキュメントがあります。多くの人がGPT-4などのラージモデルツールを自身のワークフローで使用しており、Hunyuanラージモデルはテンセントドキュメントが開始したインテリジェントアシスタント機能で使用されています。 PC 上で新しいスマート ドキュメントを作成し、「/」を入力すると、ニーズに応じてコンテンツの生成、翻訳、研磨などの操作を実現できます。

次に、自然言語コマンドを入力すると、大規模モデルの生成機能が Tencent ドキュメント内の長いテキストを要約するのに役立ちます。

論文を書くときにとても役立ちそうです

#もちろん、お題を与えるとテキストを作成し、生成された内容の一部を選択するとAIが行うこともできますさらに洗練された編集。書いた後、ワンクリックで翻訳することもできます:

さらに、テーブル データの計算とグラフの生成はすべて 1 つの文で実行されます。

#これらの機能は現在内部テスト段階にあり、完成したらユーザーに公開される予定です。

Tencent の会議では、Hunyuan の大規模モデルを適用することで、会議中に気が散ることがなくなります。たとえば、今言われたことや、あの 2 人の議論の内容をいつでも AI アシスタントに尋ねることができます。 AI は静かに内容をいくつかの短い文に要約し、1 つ、2 つ、または 3 つを明確にリストすることができます。

もちろん、会議後、Hunyuan の大型モデルは会議の内容を要約することもできます。より迅速かつ包括的に、To Do 項目にマークを付けます

Tencent の 50 以上のビジネスをカバーしました

Jiang Jie が渾源モデルを要約しました 3 つの主要な特徴: 強力な中国のクリエイティブ能力、複雑な状況における論理的推論能力、信頼できるタスク実行能力。

現在、業界の大規模モデルの多くは、シナリオへの適用がまだ限られています。主な問題は、フォールト トレランス率が高く、単純なタスクを伴うカジュアルなシナリオにのみ適していることです。 Tencent は、モデルの信頼性と成熟度を向上させるために、アルゴリズム レベルで一連の自己研究革新を実施しました。

テンセントグループ副社長の江傑氏がイベントに登場

大型モデルが「しゃべりやすい」という問題を鑑み、ナンセンス」、テンセント 事前トレーニングのアルゴリズムと戦略が最適化され、自社開発の「真実検出」テクノロジーにより、Hunyuan の大規模モデルの「錯覚」が、主流のオープンソース大規模モデルと比較して 30 ～ 50% 削減されました。

「業界のアプローチは、大規模モデルのオープンブック試験の能力を向上させるために、検索機能の強化、ナレッジ グラフ、その他の「プラグイン」を提供することです。この方法はモデルの知識を増やしますが、実際の応用には多くの制限があります」とJiang Jie氏は語った。 「Hunyuan 大型モデルの開発の初期段階で、私たちは外部データにまったく依存しない方法を検討し、多くの研究を試みました。私たちが見つけた事前トレーニング方法により、幻覚の問題は大幅に解決されました。 "

テンセントも 強化学習手法を使用して、モデルにトラップの問題を識別するよう学習させ、位置エンコーディングの最適化を通じて、超長テキストの処理におけるモデルの効果とパフォーマンスが向上します。ロジックの面では、テンセントは思考連鎖の新しい戦略を提案しました。これにより、大規模モデルが人間と同じように実際のアプリケーション シナリオに基づいて推論し、意思決定できるようになります。

Tencent Hunyuan 大規模モデルは意味を理解できます。文脈を理解し、長文記憶機能を備えているため、専門分野で複数回の会話をスムーズに行うことができます。さらに、文学作品、テキストの要約、ロールプレイなどのコンテンツを作成して、ユーザーの意図を完全に理解し、タイムリーな応答を効率的かつ正確に提供することもできます。このようなテクノロジーを実装して初めて、真の生産性の向上が可能になります。

リライトする必要がある内容は、4000 ワードの記事を書くことです。GPT-4 では要件を満たすことができませんが、Hunyuan の大型モデルではそれが可能です

中国情報通信技術院の「大規模事前学習モデル技術と応用の評価方法」の標準準拠テストにおいて、Hunyuan 大型モデルは合計 66 の能力項目を評価しました「モデル開発」と「モデル」において、「能力」の2つの総合評価が現時点で最高得点を獲得しました。主流の評価セット MMLU、CEval、AGI-eval において、Hunyuan 大型モデルは、特に中国科学、大学入試問題、数学において優れたパフォーマンスを発揮します。

大規模なモデルを構築する重要性は、産業用途にあります。 Tencent Cloud、Tencent Advertising、Tencent Games、Tencent Financial Technology、Tencent Conference、TencentDocuments、WeChat Souyisou、QQ ブラウザなど、Tencent 内の 50 以上の企業と製品が Tencent Hunyuan モデルにアクセスしてテストしたことがわかっています。そして初期の成果を達成しました。 Tencent のプログラマは、開発効率を向上させるために大規模なモデル ツールを使用し始めています。

さらに、Tencent は独自の機械学習フレームワーク Angel も開発し、業界の主流フレームワークと比較してモデルのトレーニング速度を 2 倍にし、推論を高速化しました。業界の主流フレームワークよりも速度が 1.3 倍向上しました。

大規模なモデルを構築するためのインフラストラクチャも停止されていません。 Tencentは以前、今年初めに大規模なコンピューティングセンターを建設したと発表しており、最近ではMiniMaxとBaichuan Intelligenceの大規模モデルにTencentのコンピューティング能力が使用されている。

テンセントはまた、業界データと自社の機能を組み合わせることにも熱心に取り組んでおり、外部顧客からの業界特有のデータを使用して特定の業界の問題を解決し、現実の業​​界と統合して社会的、経済的利益を継続的に促進し、大型モデルのビジネス。価値

「公開データによると、中国では 130 の大型モデルがリリースされています。一般モデルと専門分野モデルの両方があります。Hunyuan は一般モデルとして、Tencent の社内ビジネスのほとんどをサポートできます。今日はいくつかの詳細なモデルを示します」 「当社が参入するすべてのビジネスには多数のユーザーがいます。大規模なモデルは当社の中核分野に深く適用されています」と Jiang Jie 氏は述べています。 「私のビッグ モデルは、まず企業自体にサービスを提供し、次に Tencent Cloud を通じて外部の世界に公開されます。」

顧客に公開されると、Hunyuan ビッグ モデルは Tencent クラウド モデルのベースとして機能します。 as a Service MaaS。お客様は、Hunyuan API を直接呼び出すことも、Hunyuan をベース モデルとして使用して、さまざまな産業シナリオ向けの専用アプリケーションを構築することもできます。

テンセントの大型モデル分野における戦略は安定性を重視していることがわかります。つまり、中途半端な製品を急いで披露するのではなく、強固な基盤を築くことに重点を置いているのです。そしてこの動きは抜群の強さを見せた。

大規模モデルの開発はまだ進行中です。Jiang Jie 氏は次のように述べています。「テンセントは大規模モデルを完全に採用したと言っても過言ではありません。私たちの能力は継続的に改善されています」 「進化、私は AIGC の可能性が無限であると信じており、私たちはすでにこの道を歩み始めています。」

以上がTencent Hunyuan 大型モデルが正式に発表され、私たちはその生産性を率先して試しましたの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。