検索
ホームページテクノロジー周辺機器AI科学技術進歩賞の最優秀賞の受賞: Tencent は、数兆のパラメータを持つ大規模モデルのトレーニングの問題を解決しました

中国電子学会 2023 科学技術賞の受賞者リストが発表されましたが、今回はおなじみの Tencent Angel 機械学習プラットフォームを発見しました。

大規模モデルが急速に開発されている現在の時代において、科学技術賞は機械学習プラットフォームの研究および応用プロジェクトに授与され、モデルの価値と重要性が全面的に認められています。トレーニングプラットフォーム。

科学技術進歩賞の最優秀賞の受賞: Tencent は、数兆のパラメータを持つ大規模モデルのトレーニングの問題を解決しました

科学技術賞は、特に大規模モデルの急速な開発の文脈における機械学習プラットフォーム プロジェクトの研究と応用を表彰し、モデルトレーニングプラットフォームの価値と重要性が十分に認識されています。

ディープラーニングの台頭により、大手企業は人工知能テクノロジーの開発における機械学習プラットフォームの重要性を認識し始めています。 Google、Microsoft、Nvidia などの企業は、人工知能モデルのトレーニング プロセスを高速化するために独自の機械学習プラットフォームを立ち上げました。これらのプラットフォームは開発者に便利なサポートを提供し、複雑な人工知能システムをより迅速に構築および最適化できるようにします。この傾向により、人々は機械学習テクノロジーの開発にさらに注目するようになり、将来の人工知能アプリケーションのための強固な基盤が築かれました。

2023 年以降、大規模モデルの台頭によりモデルパラメータの増加がさらに促進されます。大手企業はパラメータスケールが数千億、さらには数兆に達するモデルを発表しており、これらのモデルは一般的にディープニューラルネットワーク構造を採用しています。ただし、この開発は、モデルの分散トレーニングの難しさと、アプリケーションの複雑さによって引き起こされるモデル設計の課題という 2 つの主要な問題点ももたらしました。

なぜ Angel 機械学習プラットフォームなのか?

4 つのコア技術のブレークスルーの詳細な説明

多数の学者やその他の権威ある専門家で構成される評価委員会は、Tencent Angel 機械学習プラットフォームは、技術的複雑性が高く、開発が難しく、革新性が高く、応用の可能性が広いため、全対全通信のための効率的なキャッシュスケジューリングと管理技術、適応型プリサンプリング技術など、全体的な技術は国際的に先進的なレベルに達しています。グラフ構造検索技術は世界トップレベルに達しています。

科学技術進歩賞の最優秀賞の受賞: Tencent は、数兆のパラメータを持つ大規模モデルのトレーニングの問題を解決しました

録音アーキテクチャ、このアーキテクチャの特徴は、モデルパラメーターの保存とモデ​​ル計算の実行の2つのタスクが異なるサーバーで実行されることです。サーバーを追加すると、より高い計算要件を伴う大規模なモデルをサポートできます。このアーキテクチャにより、モデルのトレーニング プロセスがより効率的になり、大規模なデータ セットや複雑なモデルの計算を処理できるようになります。分散パラメータ サーバーの設計により、システムは優れた拡張性と柔軟性を備え、さまざまな規模やニーズの機械学習タスクに対応できます。このアーキテクチャの利点は、クラスタ リソースを効果的に利用し、コンピューティング効率を向上させ、より高速かつ効率的なサービスをユーザーに提供できることです。キャッシュ、モデルのストレージとスケジューリング、マルチモーダル モデル、融合学習などのコア領域で技術的なブレークスルーを達成できます。ソート、大規模グラフモデルと構造検索技術。

トレーニング効率を向上させるために、テラバイトレベルの機械学習モデルは通常、多数のパラメーターと勾配同期を必要とする分散トレーニング手法を採用します。キロカロリートレーニングを例に挙げると、IO通信量は25TBに達し、消費時間の53%を占めます さらに、異なる計算能力クラスター間の異種ネットワーク環境と相まって、通信ネットワークの遅延も異なるため、より高い要件が課せられます。モデルトレーニングプロセス中の通信オーバーヘッド。 Tencent Angel 機械学習プラットフォームは、Tencent Cloud Xingmai ネットワークの効率的な通信およびキャッシュ スケジュール管理技術に基づいており、TB レベルのモデル トレーニングにおける高い通信オーバーヘッドの問題を効果的に解決し、ネットワーク通信時間を 80% 削減し、分散型を実現します。業界の主流ソリューションの 2.5 倍に達するトレーニング パフォーマンス。

科学技術進歩賞の最優秀賞の受賞: Tencent は、数兆のパラメータを持つ大規模モデルのトレーニングの問題を解決しました

現在の計算能力条件では、モデルは TB レベルに達していますが、メインストリーム GPU のビデオ メモリはまだ 80G しかなく、パラメータ ストレージにボトルネックがあります。テラバイトレベルのモデルトレーニングパラメータを保存することが難しいという重要な問題に対応して、Tencent Angel機械学習プラットフォームは、ビデオメモリとメインメモリの統合された観点からストレージ管理メカニズムを提案し、従来のモデルと比較して2倍のモデルストレージ容量を実現します。業界の主流ソリューションの 2 倍のトレーニング パフォーマンスを実現します。

科学技術進歩賞の最優秀賞の受賞: Tencent は、数兆のパラメータを持つ大規模モデルのトレーニングの問題を解決しました

大規模なモデルを一般的なモデルに開発するには、マルチモーダル データの処理サポートが不可分であり、テキスト、画像、ビデオなどの異なるモダリティのデータを調整、統合、理解することが困難です。 。マルチモーダル モデルのトレーニングにおいて、Tencent Angel 機械学習プラットフォームは、広告シナリオのマルチモーダル融合学習に基づくフルリンク ランキング広告推奨テクノロジーを提案し、広告再現率を 40% 以上向上させるのに役立ちます。

科学技術進歩賞の最優秀賞の受賞: Tencent は、数兆のパラメータを持つ大規模モデルのトレーニングの問題を解決しました

さらに、レコメンデーション システムのグラフ モデル トレーニングのために、Tencent Angel 機械学習プラットフォームは、最適な構造を自動的に出力できるグラフ ノード特徴適応型グラフ ネットワーク構造検索技術を設計しました。は、TB グラフ モデル アプリケーションにおける「グラフ データ マイニングの難しさ」の問題を解決し、モデル トレーニングのパフォーマンスを 28 倍向上させ、業界と比較して最高の拡張性を備えています。

Tencent Angel 機械学習プラットフォームの構築への道

Tencent Hunyuan の大規模モデルが兆規模に拡大

Tencent として人工知能技術の基本プラットフォームである Tencent Angel プラットフォームは 2015 年に誕生し、PS-Worker 分散トレーニングと 10 億パラメータの LDA モデルのトレーニングをサポートしています。

2017 年に Angel フレームワークは Github 上でオープンソース化され、開発者に公開されると同時に、技術的には異種ネットワーク下での通信問題が解決され、パフォーマンスがさらに向上しました。 2019 年に、私たちはスケーラブルなグラフ モデルのマルチモーダル理解テクノロジでブレークスルーを達成し、数兆ノードを持つスケーラブルなグラフ モデルの問題を解決しました。 2021 年には、大規模なモデル パラメーターのストレージとパフォーマンスの問題を解決するために、GPU メモリ統合パースペクティブ ストレージ テクノロジが提案されます。

Tencent の汎用人工知能大型モデルである Tencent Hunyuan の作成においては、Tencent の Angel 機械学習プラットフォームも重要な役割を果たしました。

2023 年 9 月、Tencent の Hunyuan 大型モデルが正式に発表され、事前トレーニング コーパスは 2 兆トークンを超え、強力な中国語理解と作成能力、論理的推論能力、信頼性の高いタスク実行能力を備えています。

Tencent Hunyuan の大規模モデルを構築する必要性に直面して、Tencent の Angel 機械学習プラットフォームは、大規模モデルのトレーニングと推論用に自社開発の機械学習フレームワーク Angel PTM および Angel HCF を作成し、10,000 カードでの単一タスクをサポートしました。レベル: 大規模なトレーニングと大規模な推論サービスの展開。大規模モデルのトレーニングの効率は、主流のオープンソース フレームワークの 2.6 倍に向上しました。数千億の大規模モデルのトレーニングにより、コンピューティング電力コストの 50% を節約できます。アップグレード後は、10,000 枚のカードの超大規模トレーニングをサポートします。タスクごとに。推論に関しては、Tencent Angel 機械学習プラットフォームの推論速度が 1.3 倍に向上し、Tencent Hunyuan 大型モデル Wenshengtu のアプリケーションでは、推論時間が当初の 10 秒から 3 ~ 4 秒に短縮されました。

さらに、Angel はモデル開発からアプリケーション実装までのワンストップ プラットフォームも提供しており、ユーザーは API インターフェイスや微調整を通じて Tencent の Hunyuan 大規模モデル機能をすぐに呼び出すことができ、大規模モデル アプリケーションの構築を加速します。 Tencent カンファレンス、Tencent News、Tencent Video を含む 400 以上の Tencent 製品とシナリオが Tencent Hunyuan の内部テストに接続されています。

Tencent Hunyuan は、ハイブリッド エキスパート モデル (MoE) 構造を採用することでモデルを数兆個のパラメーターに拡張し、パフォーマンスの向上と推論コストの削減を推進しました。一般的なモデルとして、Tencent Hunyuan は中国語のパフォーマンス、特にテキスト生成、数理論理学、マルチターン対話において業界をリードしています。現在、Tencent Hunyuan は、Vincent 写真と Vincent ビデオの機能をさらに強化するためのマルチモーダル モデルの開発にも積極的に取り組んでいます。

Tencent の多数のアプリケーション シナリオは、Tencent の Angel 機械学習プラットフォームの実装のための実験場を提供します。 Tencent の Hunyuan 大型モデルに加えて、Tencent の Angel 機械学習プラットフォームは、Tencent の広告や Tencent カンファレンスなどの製品もサポートしており、Tencent Cloud を通じて複数の業界や企業顧客にサービスを提供し、あらゆる分野のデジタルでインテリジェントな発展を支援しています。

Tencent 広告を例に挙げると、Tencent Angel 機械学習フラット分散トレーニング最適化やマルチモーダル理解グラフ データ マイニングなどの革新的なテクノロジーを使用して、広告ビジネス シナリオにおけるマルチモーダル大規模モデルのトレーニング速度が向上しました。モデル規模は10倍となり、広告想起率が大幅に向上しました。

以上が科学技術進歩賞の最優秀賞の受賞: Tencent は、数兆のパラメータを持つ大規模モデルのトレーニングの問題を解決しましたの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。

声明
この記事は机器之心で複製されています。侵害がある場合は、admin@php.cn までご連絡ください。
革新を調理する:人工知能がフードサービスを変革する方法革新を調理する:人工知能がフードサービスを変革する方法Apr 12, 2025 pm 12:09 PM

食品の準備を強化するAI まだ初期の使用中ですが、AIシステムは食品の準備にますます使用されています。 AI駆動型のロボットは、ハンバーガーの製造、SAの組み立てなど、食品の準備タスクを自動化するためにキッチンで使用されています

Pythonネームスペースと可変スコープに関する包括的なガイドPythonネームスペースと可変スコープに関する包括的なガイドApr 12, 2025 pm 12:00 PM

導入 Python関数における変数の名前空間、スコープ、および動作を理解することは、効率的に記述し、ランタイムエラーや例外を回避するために重要です。この記事では、さまざまなASPを掘り下げます

ビジョン言語モデル(VLM)の包括的なガイドビジョン言語モデル(VLM)の包括的なガイドApr 12, 2025 am 11:58 AM

導入 鮮やかな絵画や彫刻に囲まれたアートギャラリーを歩くことを想像してください。さて、各ピースに質問をして意味のある答えを得ることができたらどうでしょうか?あなたは尋ねるかもしれません、「あなたはどんな話を言っていますか?

MediaTekは、Kompanio UltraとDimenity 9400でプレミアムラインナップをブーストしますMediaTekは、Kompanio UltraとDimenity 9400でプレミアムラインナップをブーストしますApr 12, 2025 am 11:52 AM

製品のケイデンスを継続して、今月MediaTekは、新しいKompanio UltraやDimenity 9400を含む一連の発表を行いました。これらの製品は、スマートフォン用のチップを含むMediaTekのビジネスのより伝統的な部分を埋めます

今週のAIで:Walmartがファッションのトレンドを設定する前に設定します今週のAIで:Walmartがファッションのトレンドを設定する前に設定しますApr 12, 2025 am 11:51 AM

#1 GoogleはAgent2Agentを起動しました 物語:月曜日の朝です。 AI駆動のリクルーターとして、あなたはより賢く、難しくありません。携帯電話の会社のダッシュボードにログインします。それはあなたに3つの重要な役割が調達され、吟味され、予定されていることを伝えます

生成AIは精神障害に会います生成AIは精神障害に会いますApr 12, 2025 am 11:50 AM

私はあなたがそうであるに違いないと思います。 私たちは皆、精神障害がさまざまな心理学の用語を混ぜ合わせ、しばしば理解できないか完全に無意味であることが多い、さまざまなおしゃべりで構成されていることを知っているようです。 FOを吐き出すために必要なことはすべてです

プロトタイプ:科学者は紙をプラスチックに変えますプロトタイプ:科学者は紙をプラスチックに変えますApr 12, 2025 am 11:49 AM

今週公開された新しい研究によると、2022年に製造されたプラスチックの9.5%のみがリサイクル材料から作られていました。一方、プラスチックは埋め立て地や生態系に積み上げられ続けています。 しかし、助けが近づいています。エンジンのチーム

AIアナリストの台頭:これがAI革命で最も重要な仕事になる理由AIアナリストの台頭:これがAI革命で最も重要な仕事になる理由Apr 12, 2025 am 11:41 AM

主要なエンタープライズ分析プラットフォームAlteryxのCEOであるAndy Macmillanとの私の最近の会話は、AI革命におけるこの重要でありながら過小評価されている役割を強調しました。 MacMillanが説明するように、生のビジネスデータとAI-Ready情報のギャップ

See all articles

ホットAIツール

Undresser.AI Undress

Undresser.AI Undress

リアルなヌード写真を作成する AI 搭載アプリ

AI Clothes Remover

AI Clothes Remover

写真から衣服を削除するオンライン AI ツール。

Undress AI Tool

Undress AI Tool

脱衣画像を無料で

Clothoff.io

Clothoff.io

AI衣類リムーバー

AI Hentai Generator

AI Hentai Generator

AIヘンタイを無料で生成します。

ホットツール

メモ帳++7.3.1

メモ帳++7.3.1

使いやすく無料のコードエディター

SecLists

SecLists

SecLists は、セキュリティ テスターの究極の相棒です。これは、セキュリティ評価中に頻繁に使用されるさまざまな種類のリストを 1 か所にまとめたものです。 SecLists は、セキュリティ テスターが必要とする可能性のあるすべてのリストを便利に提供することで、セキュリティ テストをより効率的かつ生産的にするのに役立ちます。リストの種類には、ユーザー名、パスワード、URL、ファジング ペイロード、機密データ パターン、Web シェルなどが含まれます。テスターはこのリポジトリを新しいテスト マシンにプルするだけで、必要なあらゆる種類のリストにアクセスできるようになります。

DVWA

DVWA

Damn Vulnerable Web App (DVWA) は、非常に脆弱な PHP/MySQL Web アプリケーションです。その主な目的は、セキュリティ専門家が法的環境でスキルとツールをテストするのに役立ち、Web 開発者が Web アプリケーションを保護するプロセスをより深く理解できるようにし、教師/生徒が教室環境で Web アプリケーションを教え/学習できるようにすることです。安全。 DVWA の目標は、シンプルでわかりやすいインターフェイスを通じて、さまざまな難易度で最も一般的な Web 脆弱性のいくつかを実践することです。このソフトウェアは、

ドリームウィーバー CS6

ドリームウィーバー CS6

ビジュアル Web 開発ツール

WebStorm Mac版

WebStorm Mac版

便利なJavaScript開発ツール