人間が AI を追い抜く: DeepMind が AI を使用して行列乗算の計算速度の 50 年間の記録を破ってから 1 週間後、数学者が再び記録を破りました。

10 月 5 日、AlphaTensor が誕生し、DeepMind は数学分野で 50 年間未解決だった数学的アルゴリズムの問​​題、つまり行列乗算を解決したと発表しました。 AlphaTensor は、行列の乗算などの数学的問題に対して、斬新で効率的で正しいことが証明されたアルゴリズムを発見した最初の AI システムになります。論文「強化学習によるより高速な行列乗算アルゴリズムの発見」は、Nature の表紙にも掲載されました。

しかし、AlphaTensor の記録は人間の数学者によって破られるまでわずか 1 週間しか残っていませんでした。

オーストリア、リンツのヨハン・ケプラー大学の研究者マヌエル・カウアーズ氏とヤコブ・モースバウアー氏は、最新の研究で、AlphaTensorの行列乗算の記録を破ったと述べている。彼らは、5×5 行列の乗算を 95 ステップで実行するメソッドを開発しました。これは、AlphaTensor の記録である 96 ステップおよび以前の記録である 98 ステップよりも 1 ステップ少ないものです。この論文のプレプリントは 10 月 13 日に arxiv に掲載されました。

文書アドレス: https://arxiv.org/abs/2210.04045

論文のタイトルの「FBHHRBNRSSSHK」は、実際には DeepMind 論文の著者全員の姓の最初の文字です。この命名方法も非常に興味深いです:

数学的問題の探求に終わりはない 著者が述べたように、DeepMind アルゴリズム ソリューションは「まだ物語の終わりではない」。しかし、今回のブレークスルーは、巨人、つまり AI の肩の上に立つことであり、その解決策は、DeepMind ソリューションに基づいて一連の変換を適用し、1 ステップの乗算計算を排除することであると著者は述べています。

1

AlphaTensor の 2 歩前進

まず、AlphaTensor の結果を簡単に確認してみましょう。

コンピューター サイエンスにおける多くの数学的タスクは、機械学習、コンピューター グラフィックスの作成、さまざまなシミュレーション、データ圧縮など、行列の乗算によって処理されます。コンピューターは乗算の計算が加算よりもはるかに遅いため、行列の乗算の効率がわずかに向上するだけでも大きな影響を及ぼします。数学者は何十年もの間、より効率的な行列の乗算アルゴリズムを探してきました。

1969 年、ドイツの数学者 Volker Strassen は、4×4 行列の乗算の解法を 64 ステップから 49 ステップに初めて短縮するアルゴリズムを開発し、数学界に衝撃を与えました。

ディープマインド社が今回リリースしたAIシステムAlphaTensorは、ストラッセンアルゴリズムよりも高速な新しいアルゴリズムを発見しました。デミス・ハサビス氏は、この新しいアルゴリズムには1日あたり数兆回の計算効率が10％から20％向上する可能性があると述べた。

AlphaTensor は、ゲームから数学への飛躍であり、2018 年に Deepmind によってリリースされた汎用ボードゲーム AI システムである AlphaZero をベースにしています。 AlphaTensor をトレーニングするために、Deepmind 研究チームは行列の乗算問題を 3D ボード ゲームに変換し、各ステップで新しいアルゴリズムの構成要素を生成しました。 AlphaTensor は、毎回何万もの手の中から選択して、できるだけ少ないステップで新しいアルゴリズムを生成することで報われます。ディープマインドはこれを「テンソル ゲーム」と呼んでいます。

5x5 入力行列で、AlphaTensor は Strassen のアルゴリズムと他の既知のアルゴリズムを独自に発見しました。また、古いアルゴリズムよりも効率的な新しいアルゴリズムも開発されました。

たとえば、5×5 行列の乗算 (n=4) には、以前は 80 の計算ステップが必要でしたが、AlphaTensor の新しいアルゴリズムでは 76 ステップしか必要ありません。n=5 の場合、AlphaTensor は問題を解決します。元の 98 ステップから 96 ステップに減少しました。 4×4 行列の乗算は Strassen によって 49 ステップに削減され、AlphaTensor によって 47 ステップに最適化されます。この効率は、AlphaTensor によって生成される行列乗算用の 70 以上のアルゴリズムによって実現されます。

注: AlphaTensor によって発見されたアルゴリズムの複雑さは、既知の行列乗算アルゴリズムと比較されます

さらに、AlphaTensor はハードウェア固有のアルゴリズムも開発できます。 、機械学習用。現在、Google TPU や NVIDIA V100 のアルゴリズムよりも 20% 高速に実行されると言われています。

人間が独自に乗算アルゴリズムを調整してハードウェアに適応させることは困難であるため、AlphaTensor による Strassen アルゴリズムの改良により、4×4 行列乗算の新しい上限が作成されます。 AI の進歩は、他の分野からの支援の素晴らしい証拠です。また、もともと従来のゲーム用に開発された AlphaZero システムが、領域外の数学的問題を解決できることも示しています。

2 人類は新たな一歩を踏み出します

マヌエル・カウアーズとヤコブ・モースバウアーによる最新の研究では、主に 2 つの新しい発見がありました。 4×4行列については、別の47ステップの乗算解アルゴリズムを提案しましたが、これは以前の解とは異なります;第2に、5×5行列については、95ステップの乗算ステップを必要とする解を初めて提案しました。

この記事では、著者が 2 つの行列乗算スキームを簡単に説明しますが、解アルゴリズムの探索技術をさらに詳しく紹介する正式な論文は近々出版される予定です。

4 × 4 行列の新しいスキームには、次のように合計 47 個の乗算が含まれています。

#5 ×5 行列 (n=5) の 95 ステップの乗算スキームは次のとおりです。

# GPU が毎日数兆回の行列計算を実行していることを考慮すると、ステップ 98 から96 と 96 から ステップ 95 のような一見小さな増分改善によって、実際には計算効率が大幅に向上し、既存のハードウェア上で AI アプリケーションをより高速に実行できるようになります。

著者紹介:

マヌエル・カウアーズ、ヨハネス・ケプラー大学リンツ代数教授、同大学代数研究所所長人々。彼の研究対象は、コンピュータ代数、記号の和と積分、特殊関数恒等などです。

Jakob Moosbauer は、リンツのヨハネス ケプラー大学代数研究所の博士課程の学生です。

以上が人間が AI を追い抜く: DeepMind が AI を使用して行列乗算の計算速度の 50 年間の記録を破ってから 1 週間後、数学者が再び記録を破りました。の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。