チューリング賞受賞者のジャック・ドンガラ氏: ハイパフォーマンス コンピューティングと AI の統合が科学コンピューティングをどのように覆すか

過去 30 年間、ハイ パフォーマンス コンピューティング (HPC) は急速に進歩し、科学技術コンピューティングやその他の分野で重要な役割を果たしています。現在、クラウド コンピューティングとモバイル コンピューティングが徐々にコンピューティング パラダイムの主流になりつつありますが、同時にディープ ラーニングなどの AI 手法の破壊的な影響により、HPC と AI の統合に新たな課題と機会がもたらされています。第 10 回全米ソーシャル メディア処理カンファレンス (SMP 2022) で、チューリング賞受賞者のジャック ドンガラ氏は、近年のハイ パフォーマンス コンピューティングの最も重要なアプリケーションと開発を整理しました。

Jack Dongarra は、ハイパフォーマンス コンピューティングの専門家であり、2021 年チューリング賞受賞者であり、米国の革新的コンピューティング研究所の所長です。テネシー大学。数値アルゴリズムとライブラリに対する彼の先駆的な貢献により、40 年以上にわたり、ハイパフォーマンス コンピューティング ソフトウェアがハードウェアの指数関数的な改善に追いつくことが可能になりました。彼の学術的な業績には、彼が受賞した 2019 SIAM/ACM Computational Science and Engineering Award や、高性能数学ソフトウェアのリーダーシップに対する 2020 IEEE Computing Pioneer Award などがあります。彼は AAAS、ACM、IEEE、SIAM のフェロー、王立協会の外国フェロー、および全米工学アカデミーの会員です。

#1 ハイ パフォーマンス コンピューティングは科学の「第 3 極」で広く使用されています

## 現在、ハイパフォーマンス コンピューティング (HPC) 手法は科学研究のシミュレーションに広く使用されており、シミュレーションは科学研究の「第三の極」としても知られています。 歴史的に、科学研究と工学研究は通常、理論と実験に基づくパラダイムを採用してきました。しかし、これら 2 つの方法には多くの固有の制限があり、たとえば、大規模な風洞を建設するのは通常非常に難しく、航空機のエンジンや鳥の衝突のテストには非常に費用がかかり、気候変動の観測には非常に時間がかかります。 -消費量が多く、時間がかかる、麻薬や武器の実験は非常に危険であるなど。さらに、銀河の動きの研究や新薬の開発など、特定の問題を実験的に研究できない場合もあります。したがって、研究者は科学計算手法を徐々に使用してシミュレーションを実行し、そのような問題を研究しています。この方法は通常、既知の物理法則とデジタル計算方法に基づいており、高性能コンピューター システムを通じて対応する物理現象をシミュレートします。

2 コンピューティング能力の頂点 - スーパーコンピューター

人々は通常、商用化された成熟したチップに基づいて構築します一般的なスーパーコンピューターでは、複数のチップが 1 つのボード上に統合されており、各チップには複数のコアがあります。同時に、グラフィックス プロセッシング ユニット (GPU) は通常、演算能力を向上させるためのアクセラレータとしてボード上で使用されます。同じラックキャビネット内の異なるボードは高速リンクを介して通信し、異なるキャビネットはスイッチを介して相互接続されるため、このように構成されたスーパーコンピュータは、テニスコート 2 面分のスペースを占有する必要がある場合があります。

# このようなスーパーコンピューターは非常に高い並列処理を備えており、通常は分散メモリと「MPI Open-MP」プログラミング パラダイムを使用します。 HPC システムの異なる部分間でのデータの移動は、データの浮動小数点計算に比べて非常にコストがかかります。既存のスーパーコンピューターは、64、32、16、8 ビット幅などのさまざまな精度の浮動小数点計算をサポートしています。

現在、最速のスーパーコンピューターは Exaflop/s レベル (1018) の計算能力を提供できます。 これは非常に大きな値です。乗算と加算の計算を 1 秒で全員が完了すると、スーパーコンピューターが 1 秒で完了できる計算を世界中の全員が完了するのに 4 年かかることになります。同時に、このようなスーパーコンピューターの稼働を維持するには、毎年数千万ドルの電気代が必要になります。

過去 30 年間の世界のトップ 500 スーパーコンピューターのパフォーマンスの変化から、スーパーコンピューターのパフォーマンスはほぼ指数関数的な成長率を維持していることがわかります。 興味深いことに、現在使用されている MacBook のパフォーマンスは、ロス アラモス国立研究所で製造され、主に核兵器に使用されていた 1993 年の世界最先端のスーパーコンピューターよりも強力です。今年6月のデータによると、世界トップ10のスーパーコンピュータのうち、5台が米国、2台が中国（無錫と広州にある）、残りの3台がフィンランド、日本、フランス製となっている。

#3 「調和的だが異なる」HPC と ML/AI

##HPC と ML コンピューティングには、似ていますが異なる特性があります。 HPC はデジタル計算を多用するため、通常は非常に限られたデータを入力し、非常に多くのデジタル計算を行った後に大量のデータを出力します。 ML 分野の高性能データ処理 (HPDA) では、通常、大量のデータの入力が必要ですが、出力されるデータの量は比較的少量です。両者が使用するデータ精度も大きく異なり、科学シミュレーションなどのハイパフォーマンス コンピューティング シナリオでは通常 64 ビット浮動小数点データが使用されますが、機械学習シナリオでは 16 ビット浮動小数点データが使用されます。

#AI は科学研究のさまざまな側面で非常に重要な役割を果たします。 : AI は、さまざまな分野での科学的発見を支援し、コンピューティング アーキテクチャのパフォーマンスを向上させ、エッジで大量のデータを管理および処理できます。したがって、科学技術コンピューティングの分野では、機械学習などのテクノロジーが気候学、生物学、薬学、疫学、材料科学、宇宙論、さらには高エネルギー物理学などの多くの分野に適用され、強化されたモデルやより高度なシミュレーション手法が提供されています。たとえば、ディープラーニングは、医薬品開発の支援、流行の予測、医療画像に基づく腫瘍の分類などに使用されます。

# 科学研究シミュレーションと AI コンピューティングは、どちらもモデルとデータを必要とするため、非常に効果的に組み合わせることができます。通常、シミュレーションでは (数学) モデルを使用してデータを生成し、(AI) 分析ではデータを使用してモデルを生成します。解析手法を使用して取得したモデルは、他のモデルと一緒にシミュレーションで使用でき、シミュレーションで生成されたデータは、他のソースからのデータと一緒に解析で使用できます。これにより、相互に促進し合う好循環が生まれます。

HPC&AI は、特定のアプリケーション分野で相互に補完することに加えて、基本的な開発手法、ソフトウェアとソフトウェア インフラストラクチャ、AI ハードウェア アーキテクチャの両方の点で優れています。たくさんのつながりがあります。同時に、この 2 つはより幅広く関連しており、たとえば、AI を使用してシミュレーションをガイドしたり、シミュレーション アプリケーションのパラメーターをより迅速に調整したり、カスタマイズされたコンピューティング カーネル機能を提供したり、従来の HPC とニューロモーフィック コンピューティングなどのコンテンツを組み合わせたりすることができます。 「AL&ML は科学者に取って代わることはありませんが、AI&ML ツールを使用する科学者は、これらのツールを使用しない科学者に取って代わられるでしょう。」とよく言われるように、AI&ML は破壊的な影響力を持っています。

4 将来に目を向ける: HPC システムはさらにカスタマイズされるでしょう

将来の HPC システムはカスタマイズ可能になります。 現在、HPC には主に CPU と GPU の 2 種類のプロセッサが搭載されていますが、将来的には FPGA、ML アクセラレータ、ASIC チップなど、より多くの異なるユニットが使用されるようになるでしょう。ニューロモーフィック処理、量子コンピューティング、光コンピューティングなどの HPC コンピューティング システムには、さまざまな構造やパラダイムを使用するプロセッサがますます追加され、ますます重要な役割を果たす可能性があります。新しい HPC システムを構築する場合、必要に応じて対応するモジュールや機能を使用できるようになります。

5 概要

HPC ハードウェアは、スカラー コンピューティング マシン、ベクトル コンピューティング マシン、分散システム、アクセラレータ、混合精度計算マシンなど、常に進化しています。等々。現在、コンピュータ分野では、ハイパフォーマンス コンピューティング、ディープ ラーニング、エッジ コンピューティングと人工知能という 3 つの大きな変化が起きています。アルゴリズムとソフトウェアはハードウェアとともに進化し続ける必要があり、Leiserson らの論文で述べられているように、ムーアの法則の後でも、アルゴリズム、ソフトウェア、ハードウェア アーキテクチャを通じて HPC システムの最終的なパフォーマンスを向上させる余地はまだたくさんあります。

6 Q&A

質問 1: 現在、業界は政府も学術コミュニティも大規模なニューラル ネットワーク モデルのトレーニングにさらに注目を集めており、たとえば GPT3 には 1,700 億を超えるパラメーターがあり、通常、1 ～ 3 か月間のトレーニングには 100 台の高性能 GPU が必要です。将来的には、高性能コンピューターを使用して関連トレーニングを数日または数時間で完了できるようになるでしょうか?

回答 1: GPU はコンピュータに強力な数値計算機能を提供します。たとえば、スーパーコンピューターの計算能力の 98% は GPU から供給されます。また、CPU と GPU の間でのデータの移動には非常に時間がかかります。コストのかかるデータ移動を削減するために、チップレットなどのチップ設計手法やより実用的な実装パスを使用して、GPU と CPU を近づけることができます。さらに、データと対応する処理ユニットを直接近づける方法は、データ転送コストが高いという問題の解決にも非常に役立ちます。

質問 2: 現在の多くの機械学習アルゴリズムがハードウェアとともに進化し、相互に影響を与える可能性があるという現象を観察しました。たとえば、Nvidia などの企業は、現在 ML 分野で最高のパフォーマンスを誇る Transformer モデル専用のアーキテクチャを特別に設計し、Transformer を使いやすくしています。そのような現象を観察したことがありますか?コメントはありますか?

回答 2: これは、ハードウェア設計と他の側面がどのように相互に強化されるかを示す非常に良い例です。現在、多くのハードウェア研究者が業界の変化に注目し、動向を判断しています。アプリケーションをハードウェアと共同設計すると、パフォーマンスが大幅に向上し、より多くのハードウェアを販売できるようになります。私はこの「アルゴリズムとハードウェアが共進化する」という言葉に同意します。

# 質問 3: ハイパフォーマンス コンピューティングの将来は異種ハイブリッドになると指摘しました。これらの部品を統合することは非常に難しい問題であり、パフォーマンスの低下につながる可能性もあります。純粋に GPU を使用するだけであれば、パフォーマンスが向上する可能性があります。どう思いますか？

回答 3: 現在、高性能コンピューターでは CPU と GPU が非常に疎結合されており、計算のためにデータを CPU から GPU に転送する必要があります。将来的には、異なるハードウェアを組み合わせて使用​​する傾向が続くでしょう。たとえば、ML 計算に特化したハードウェアを使用すると、GPU をさらに強化できます。 ML関連のアルゴリズムを対応するアクセラレータにロードすることで、アルゴリズムの詳細がアクセラレータ上で実行され、計算結果が対応するプロセッサに送信されます。将来的には、対応する量子アルゴリズムなどを実行するためにプラガブル量子アクセラレータを実装することも可能です。

質問 4: HPC は、特に研究者や中小企業にとって非常に高価です。研究に携わる教師、学生、中小企業にとって HPC を手頃な価格で提供できるクラウド コンピューティングのような方法はありますか?

回答 4: 米国では、HPC を使用するには、研究対象の問題と必要な計算量を記載した関連申請書を関連部門に提出する必要があります。承認されれば、HPC の使用コストを心配する必要はありません。すべての HPC をクラウドベースのシステムに変換する必要があるかどうかに関する調査が米国で行われました。結果は、 クラウドベースのソリューションは、HPC システムを直接使用するよりも 2 ～ 3 倍高価であることを示しています。 この背後にある経済的前提に注意することが重要です。HPC は十分な数の人々によって使用されており、解決する必要がある問題には HPC システム全体の使用が必要になる場合があります。この場合、クラウド サービスを購入するよりも、専用の HPC を用意する方が優れています。これがアメリカやヨーロッパの現状です。

以上がチューリング賞受賞者のジャック・ドンガラ氏: ハイパフォーマンス コンピューティングと AI の統合が科学コンピューティングをどのように覆すかの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。