ホームページ >テクノロジー周辺機器 >AI >100億ドルを巻き起こしたChatGPTはTAにそこまで依存しているのでしょうか？
100億ドルを巻き起こしたChatGPTはTAにそこまで依存しているのでしょうか？
- 王林転載
- 2023-04-12 10:10:021427ブラウズ
ここ数日、「マイクロソフトがOpenAIに数百億ドルを投資した」というニュースが狂ったように画面に溢れています。
ビジネス モデルを持たない企業として、どうして OpenAI が数百億ドルもの価値を持つことができるのでしょうか?投資家はそんなに簡単にだまされるのでしょうか？
実際、OpenAI の背後にある ChatGPT を取り出せば、誰でも多かれ少なかれ理解できます。この言語モデルは「一流」であり、最近では知らない人がいないと言ってもいいでしょう。
そして、水面近くで先頭に立っているマイクロソフトが、インターネット巨人の混戦の中で静かに最初の動きを見せた。
ChatGPT が独自の検索エンジン Bing に統合されると発表した直後、後者は ChatGPT が Office の「ファミリー バケット」に参加する計画であると発表しました。
AIGC 革命は再びコンピューティング パワーの段階に到達しました
2022 年は AIGC 革命の最初の年です。
DALL・E 2 の誕生により、「Wen Sheng Tu」は 1 年間にわたって人気を博し、すぐに Stable Diffussion と Midjourney が続き、無数の人々の芸術的インスピレーションを刺激し、多くの画家たちは「失業の危機」を感じている。
年末、ChatGPT は人々の間に AIGC の嵐を巻き起こしました。フィナーレではありましたが、「強化学習」（RLHF）が与えた魔法により、見事に全国規模のカーニバルを巻き起こすことに成功しました。
先ほど説明したアプリケーションは派手に見えますが、その背後でよく知られた大規模なモデルによってサポートされています。
誰もが知っているように、大規模なモデルの場合、それが初期のトレーニングであれ、その後の推論であれ、膨大な「コンピューティング能力」と切り離すことはできません。 「。」
たとえば、「人気のフライド チキン」である ChatGPT と DALL・E 2 は GPT-3 に基づいているほか、国内の自社開発ソース 1.0、Wudao や Wenxin などもベースになっています。パラメータの点だけでなく、その量は数千億に達し、データセットのサイズはTBレベルに達しました。
これらの「モンスター」のトレーニングを処理したい場合は、少なくとも 1000 ペタフロップ/秒 (PD) を超えるコンピューティング リソースを投資する必要があります。
OpenAI が GPT-3 を改良する前に、当時世界トップ 5 にランクされていたスーパーコンピューターを独占的にカスタマイズするために Microsoft に 10 億ドルを費やすよう求めたのも不思議ではありません。
しかし問題は、多くの AI コンピューティング能力を必要とするすべての企業や大学が、独自の「人工知能高性能コンピューティング センター」を構築するために巨額の資金を投じる余裕があるわけではないということです。 「。」
では、考え方を変えてコンピューティング能力をより「普遍的で有益」なものにすれば、同じかそれ以上の結果を達成できるでしょうか?
そこで、2020年12月、National Information CenterとInspur Informationが共同で「インテリジェントコンピューティングセンターの計画と構築ガイド」をリリースしました。その中で、まったく新しい概念として言及されたのが、インテリジェント・コンピューティング・センター（略してインテリジェント・コンピューティング・センター）です。
#インテリジェント コンピューティング センターとは何ですか?
人工知能分野の問題をより適切に解決するために、インテリジェント コンピューティング センターの開発は、最新の AI 理論と高度な AI コンピューティング アーキテクチャに基づき、AI チップ、AI サーバーを使用する必要があります。 、および AI クラスター コンピューティング能力のキャリアとして。
まず、現在の主流の AI アクセラレーション コンピューティングでは、主に GPU、FPGA、ASIC などの異種 AI アクセラレーション チップを搭載した CPU システムが使用されます。
GPU チップにはもともとグラフィックス コンピューティング用に設計された多数の算術論理演算ユニット (ALU) が含まれているため、テンソル計算に基づく深層学習計算に優れた高速化効果を提供できるため、広く使用されています。学界も産業界も、世界中から歓迎します。
アプリケーションがますます奥深くなり、GPU チップ自体も、AI のコンピューティング特性に基づいて、対象を絞った革新的な設計を実行してきました。張量計算ユニット、TF32/BF16数値精度、変圧器エンジンなどとして。
より「具体的な」AI コンピューティング アクセラレーション チップは、主に GPU チップから派生しています。
Tesla Dojo 人工知能トレーニング チップ
第 2 に、AI としてインテリジェントコンピューティングセンターの計算機のサーバーは、CPU AI 加速チップのヘテロジニアス アーキテクチャを採用し、複数の AI 加速チップを統合することで超高い計算性能を実現します。さまざまな分野のシナリオや複雑な AI モデルのコンピューティング ニーズを満たすために、AI サーバーにはコンピューティング チップ間の相互接続とスケーラビリティに対する非常に高い要件も求められます。
最後に、インテリジェント コンピューティング センターは、業界の主流、オープンソース、およびオープン ソフトウェア エコシステムを完全にサポートする必要もあります。
たとえば、深層学習フレームワーク TensorFlow と PyTorch は、CV や NLP などの特定のシナリオの開発に適応するように構築された一連のオープン ソース ライブラリである AI アルゴリズムの開発に使用されます。等
インテリジェント コンピューティング センターの全体構造
ただし、工場でカスタマイズされた高性能コンピューティング センターとは異なり、インテリジェント コンピューティング センターは実際には公共のインフラストラクチャであり、コンピューティング能力を構築したり使用したりできない問題をよりよく解決します。
最も直感的なのは、インテリジェント コンピューティング OS (インテリジェント コンピューティング センター オペレーティング システム) が「中枢」として、インテリジェント コンピューティング センターがコンピューティング リソース プールを効率的に管理できるようにするということです。コンピューティング能力、データ、アルゴリズムなどの外部サービスをより適切に提供するためのインテリジェントなスケジューリング。
本日、2020年版『知能計算センター計画・建設ガイド』の発行から2年が経過し、我が国の知能計算センターの整備も本格化しました。新しいステージ。
この目的を達成するために、National Information Center と Inspur Information は共同で時代に即した研究を実施し、2023 年 1 月に最新の を発表しました。インテリジェント コンピューティング センターのイノベーションと開発のためのガイドライン」 (以下「ガイドライン」といいます)。
それでは、なぜインテリジェント コンピューティング センターを構築するのでしょうか?
インテリジェント コンピューティング センターは、デジタル経済時代における産業の変革と高度化を促進し、産業構造の最適化を図り、都市の競争力を強化する重要なインフラであり、また、急速に増大する産業需要に不可欠なインフラを提供します。人工知能のコンピューティング能力をサポートします。
具体的には、次の 4 つの側面に分けることができます。
AI の産業化を促進し、AI を強化する産業用 AI を実現し、インテリジェントなガバナンスを支援し、産業クラスタリングを促進できます。
- AI 産業化
AI 産業化の重要な例、それは自律型です運転中。
自動運転のシナリオでは、車両が人間のドライバーと同じように運転環境の重要な情報を正確に識別し、状況を予測できるように、AI テクノロジーに基づく必要があります。周囲の移動ユニットの潜在的な軌道を予測します。
トレーニングのコンピューティング消費電力の観点から見ると、自動運転に使用される認知モデルは、一般的なコンピューター ビジョンの認識モデルよりもはるかに大規模です。
たとえば、テスラの L2 レベル FSD 自動運転融合認識モデルは、トレーニング プロセス中に何百万もの道路収集ビデオを使用し、コンピューティング能力への投資は約 500PD です。
さらに、自動運転のレベルが L2 から L4 に上昇するにつれて、コンピューティング能力の需要はさらに増加します。
この点において、インテリジェント コンピューティング センターが提供する包括的なコンピューティング能力により、自動運転に必要なコンピューティング能力のコストを大幅に削減できます。
- #産業用 AI
これは新しい科学研究パラダイムであり、科学者が AI テクノロジーを生産ツールとして使用することを指します。
今年の科学向け AI の最もよく知られた例の 1 つは、DeepMind によって開発された AlphaFold 2 です。
AlphaFold 2 の開発は、膨大なコンピューティング能力によってサポートされています。 AlphaFold 2 は、トレーニング データの準備フェーズだけで、約 2 億コア時間の CPU コンピューティング パワーと、トレーニング プロセス中に約 300 PD の AI コンピューティング パワーを消費しました。
インテリジェント コンピューティング センターは、科学のための AI の計算能力ニーズに非常に適しており、大学や研究機関における質の高い科学研究をサポートする重要なインフラストラクチャになります。
- インテリジェント ガバナンス ##さらに、インテリジェント コンピューティング センターは、次のようなサービスも提供できます。都市の公共サービスとインテリジェントなガバナンスは、インテリジェント コンピューティング機能をサポートします。
#産業クラスタリング
- ##インテリジェント コンピューティング センターは、ローカルの人工知能の研究開発の利点を集約できます。 、人材の優位性、製品の優位性、産業投資を活用して、産業チェーンの相乗効果を達成し、産業クラスターの発展を促進します。
##インテリジェント コンピューティング センター産業チェーン
現在、インテリジェント コンピューティング センターはもっと見る 国際競争力を高める重要なインフラです。
一人当たりの GDP 指標は国の経済発展を測ることができ、一人当たりのコンピューティング能力のレベルも国の知能レベルを測ることができることは誰もが知っています。「2021-2022 世界のコンピューティング能力指数評価報告書」によると、国のコンピューティング能力指数は GDP の傾向と有意な正の相関関係を持っています。電力指数は 1 ポイント増加し、デジタル経済と GDP はそれぞれ 3.5 パーセントと 1.8 パーセント成長します
#コンピューティング電力指数と GDP 回帰分析傾向
調査と計算によると、「第14次5カ年計画」期間中に、インテリジェントコンピューティングセンターの応用レベルが80％に達すると、市の投資は80％に達します。インテリジェント コンピューティング センターは、中核となる人工知能産業の成長を約 2.9% ～ 3.4 倍促進し、関連産業の成長を約 36 ～ 42 倍促進することができ、都市/地域によるインテリジェント コンピューティング センターの建設への投資の増加が貢献します。イノベーションの成果に対して約 14% ～ 17%。 インテリジェント コンピューティング センターが都市経済の発展にとって無視できない力を形成していることは、難しくありません。
インテリジェント コンピューティング センター プロジェクトの経済的および社会的利益
これらの理由から、インテリジェント コンピューティング センターの概念が提案されると、建設ブームを引き起こした。統計によると、全国の 30 以上の都市が現在、インテリジェント コンピューティング センターを建設中、または建設を提案しています。
しかし、問題も発生します。
これらのインテリジェント コンピューティング センターの本格的な建設プロセス中に、多くの問題や課題が露呈したことも無視できません。
まず第一に、我が国のインテリジェントなコンピューティング能力に対する需要は日に日に増加しています。
「2022-2023 中国人工知能コンピューティング能力開発評価報告書」のデータによると、我が国のスマート コンピューティング能力の規模は 2021 年に 155.2 EFLOPS (FP16) に達すると予想されています。 2026 年までに、我が国のスマート コンピューティング能力は 155.2 EFLOPS (FP16) に達し、コンピューティング能力の規模は 1,271.4 EFLOPS に達すると予想されています。
将来的には、シナリオの 80% が AI に基づいており、シナリオが占有するコンピューティング リソースのほとんどはインテリジェント コンピューティング センターによって担われるようになるでしょう。
私の国におけるインテリジェントなコンピューティング能力の発展
第二に、アルゴリズム周りのサービスモデルも改善する必要があります。
2011 年以来、世界の AI をリードする企業や研究機関が AI の大規模モデル研究に参加し、モデルのパラメータは劇的に増加しました。わずか3、4年でパラメータ規模は数十億から数兆へと急速に突破し、GoogleがリリースしたBERTやOpenAIがリリースしたGPT-3など、代表的な大きなモデルが多数登場しました。
従来のコンピューティング パラダイムの変化は、インテリジェント コンピューティング センターのサービス モデルの、主にコンピューティング パワーの提供から「アルゴリズム コンピューティング パワー」の提供への変革も必然的に促進します。
#最後に、現在の概念的な理解はまだ明確ではなく、建設基準は統一されておらず、適用シナリオはまだ豊富ではありません。運用モデルはまだ明確ではなく、成熟度などの問題もインテリジェント コンピューティング センターの開発に直接影響します。
それにどう対処すればよいでしょうか?
これに関して、「ガイド」が提供する解決策は次のとおりです: 1. 普遍的な普遍的利益; 2. オープンで互換性のある。
# まずは「普遍的普遍的利益」とは何かについて話しましょう。
ユニバーサルユニバーサルベネフィットとは、公共インフラの社会的価値を最大限に発揮することを指します。公共インフラは、ユーザーのニーズを満たすだけでなく、一般的なコンピューティング能力だけでなく、さまざまなシナリオでの多様なコンピューティング能力に対するさまざまなユーザーのニーズにも対応します。
具体的には、インテリジェント コンピューティング センターは、標準化、低コスト、低敷居の方向に発展し、インテリジェント コンピューティングが水道や電気のように社会の基本的な公共サービスになるようにする必要があります。さまざまなユーザーのニーズを満たすため、シナリオには多様なコンピューティング能力が必要です。
#第 2 に、「オープンで互換性がある」必要があります。
具体的には、オープンソース化とエコシステムの育成です。主にオープン ハードウェアとオープン ソース ソフトウェアに焦点を当て、複数のコンピューティング能力を統合し、コンピューティング能力の集約、スケジューリング、リリースを実現し、インテリジェント コンピューティング センターが「それをうまく利用できる」ようにします。同時に、インテリジェントコンピューティングセンターの主要なソフトウェアおよびハードウェア製品の研究開発支援と大規模応用促進を強化する必要があります。
インテリジェントコンピューティングセンター構築体制
コンピューティングパワーサービスの普遍的な利益と効率的な利用、つまりインテリジェントコンピューティングセンターを「使いやすく、有効に活用する」方法を実現するために、「ガイド」は次のように指摘しています。インテリジェント コンピューティング センターの建設には、「コンピューティング パワー インフラストラクチャ、アルゴリズム インフラストラクチャ、サービス インテリジェンス、およびグリーン施設」 の「4 つの近代化」技術ルートを構築する必要があります。 。
# コンピューティング インフラストラクチャの構築 # とは、インテリジェント コンピューティング センターが外部サービスを高コストで提供できなければならないことを意味します。有効性、包括性、セキュアなコンピューティング リソースの能力により、AI コンピューティング能力は水や電気と同様、政府、企業、一般大衆が独自に使用できる都市の基本的な公共リソースとなります。
アルゴリズム インフラストラクチャ は、インテリジェント コンピューティング センターが事前設定された業界アルゴリズムを提供し、事前トレーニング データベースを構築することを意味します。 、アルゴリズム モデルの継続的なアップグレードを促進し、専門的なデータとアルゴリズム サービスを提供し、より多くのユーザーがユニバーサル インテリジェント コンピューティング サービスを享受できるようにし、「データが提供され、結果が提供される」という効果を達成します。
サービス スマートウェア とは、インテリジェント コンピューティング センターの開発が、従来のハードウェアとソフトウェアから「スマートウェア」にアップグレードされることを意味します。 「スマートウェア」とは、人工知能の応用を促進するためにインテリジェントコンピューティングセンターが提供するミドルウェア製品およびサービスを指します。 「スマートウェア」の構築により、視覚的な操作インターフェイスとローコード開発、さらにはノーコード開発モデルを通じて、機能豊富で使いやすい人工知能コンピューティングパワースケジューリング、アルゴリズム供給、パーソナライズされた開発サービスがユーザーに提供されます。
最後に、グリーン施設を実現する必要があります。 現在の主な開発トレンドは、液体冷却技術の使用です。
未来に目を向けて現在、AIGC、メタバース、サイエンス向け AI に代表される新たなシナリオが私たちの日常生活に入り込み、私たちの未来に無限の可能性をもたらしています。
これに対応して、インテリジェント コンピューティング センターの構築とレイアウトの波が全国で急速に高まっています。
インテリジェントなコンピューティング能力の普及により、ほとんどの企業、特に中小企業にとってイノベーションの敷居が大幅に下がりました。
近い将来、私たちはすぐに「データ入力、インテリジェンス出力」を目撃することになると信じています。インテリジェント コンピューティングは水や電気のように、真にすべての人に利益をもたらすでしょう。
レポートリンク:
http://scdrc.sic .gov.cn/archiver/SmarterCity/UpFile/Files/Default/20230111181640567177.pdf
以上が100億ドルを巻き起こしたChatGPTはTAにそこまで依存しているのでしょうか？の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。