宇宙の力を利用してデータを処理しましょう! 「物理ネットワーク」はディープニューラルネットワークをはるかに上回るパフォーマンスを発揮します

この記事は Lei Feng.com から転載されたものです。転載する必要がある場合は、Lei Feng.com の公式 Web サイトにアクセスして許可を申請してください。

防音箱の中に、世界最悪のニューラル ネットワークの 1 つが眠っています。数字の 6 の画像を見た後、ニューラル ネットワークはしばらく停止し、認識した数字 0 を表示します。

ニューラルネットワークの開発を主導したコーネル大学の物理学者兼エンジニアのピーター・マクマホン氏は、手書きの数字が雑に見えるからだ、と困ったような笑みを浮かべながら語った。 NTT研究所からマクマホン氏の研究室を訪れているポスドク、ローガン・ライト氏は、間違いがよくあることは認めているものの、このデバイスは通常正しい答えを与えると述べた。性能は平凡でしたが、このニューラル ネットワークは画期的な研究でした。研究者らが木箱をひっくり返すと、コンピューターチップではなく、スピーカーに取り付けられたチタンプレートに向かって傾いたマイクが現れた。

0 と 1 のデジタル世界で動作するニューラル ネットワークとは異なり、このデバイスは音の原理で動作します。ライト氏に数字の画像が与えられると、画像のピクセルが音声に変換され、スピーカーがチタン板を振動させ、研究室にかすかな鳴き声が響き渡った。言い換えれば、「読み取り」操作を行うのはシリコンチップ上で実行されるソフトウェアではなく、メタルエコーです。

このデバイスの成功は、設計者にとっても信じられないほどです。マクマホン氏は、「振動する金属の役割が何であれ、手書きの数字の分類とは何の関係もありません」と述べ、今年1月、コーネル大学の研究チームは、「それは深い」というタイトルの論文をネイチャー誌に発表した。バックプロパゲーションでトレーニングされた物理ニューラル ネットワーク。」

このデバイスの生の読み取り機能に関する論文の説明は、多くの改良を加えれば、このデバイスがコンピューティングに革命的な変化をもたらす可能性があるという希望をマクマホン氏らに与えています。

論文リンク: https://www.nature.com/articles/s41586-021-04223-6従来の機械学習に関しては、コンピューター科学者は、ニューラル ネットワークが大きいほど優れていることを発見しました。具体的な理由については、下の図の記事を参照してください。「コンピュータ科学者は、より大きなニューラル ネットワークが優れている理由を証明する」と呼ばれるこの記事は、次のことを証明しています。有効ですが、強制する必要があります。

記事のアドレス: https://www.quantamagazine.org/computer-scientists-prove-why-bigger-neural-networks -do-better-20220210/ ニューラル ネットワークをより多くの人工ニューロン (値を保存するノード) で埋めると、ダックスフントとダルメシアンを区別する能力が向上し、正常に完了するために使用できます。他にも数え切れないほどのパターン認識タスクがあります。

本当に巨大なニューラル ネットワークは、論文の執筆 (OpenAI の GPT-3 など)、イラストの描画 (OpenAI の DALL·E、DALL·E2、Google の Imagen など) などを完成させることができます。人々に深く考えさせ、恐れさせるような仕事。より多くのコンピューティング能力があれば、より大きな偉業が可能になります。この可能性により、より強力で効率的なコンピューティング手法を開発する取り組みが促進されます。マクマホン氏と志を同じくする物理学者のグループは、型破りなアプローチを採用しています。つまり、宇宙にデータを処理してもらいましょう。

マクマホン氏は、「多くの物理システムは、特定の計算をコンピューターよりも効率的または高速に実行できるのが自然です。」と風洞を例として挙げました。エンジニアが飛行機を設計するとき、設計図をデジタル化することがあります。次に、スーパーコンピューターで何時間も費やして、翼の周りの空気の流れをシミュレーションします。あるいは、航空機を風洞に入れて飛行できるかどうかを確認することもできます。計算の観点から見ると、風洞は航空機の翼と空気の相互作用を即座に「計算」できます。

キャプション: コーネル大学チームメンバーのピーター・マクマホン氏と小野寺達裕氏は、学習タスクを完了するためのさまざまな物理システム用のプログラムを作成しています。

写真提供: Dave Burbank風洞は空気力学をシミュレートできる、単一の機能を備えた機械です。

マクマホンのような研究者は、あらゆることを学習できるデバイス、つまり、並べ替えなどの新しい能力を獲得するために試行錯誤を通じて動作を調整できるシステムの開発に取り組んでいます。手書きの数字や​​母音の区別。

最新の研究では、光波、超伝導体ネットワーク、電子分岐流などの物理システムはすべて学習できることがわかっています。 「私たちはハードウェアを再発明しているだけではなく、コンピューティングパラダイム全体を再発明しているのです」と、新しい物理学学習アルゴリズムの設計に貢献したスイス連邦工科大学チューリッヒ校の数学者ベンジャミン・セリエ氏は言う。

1 学習と思考

学習は非常にユニークなプロセスであり、10 年前、学習できるのは脳だけでした。これは、コンピュータ科学者が現在最も人気のある人工学習モデルであるディープ ニューラル ネットワークを設計するきっかけとなった部分の一部である脳の構造です。ディープ ニューラル ネットワークは、実践を通じて学習するコンピューター プログラムです。

ディープ ニューラル ネットワークはグリッドとして考えることができます: 値の保存に使用されるノードの層はニューロンと呼ばれ、ニューロンは隣接する層のニューロンに線で接続されます。線は「シナプス」とも呼ばれます。当初、これらのシナプスは「重み」と呼ばれる単なる乱数です。ネットワークに 4 を読み取らせたい場合は、ニューロンの最初の層に 4 の元の画像を表現させ、各ピクセルの影を値として対応するニューロンに保存できます。

ネットワークはその後「考え」、層ごとに移動し、シナプスの重みを乗算したニューロン値で次のニューロンの層を埋めます。最後の層で最大値を持つニューロンがニューラル ネットワークの答えになります。たとえば、これが 2 番目のニューロンである場合、ネットワークは 2 を見たものと推測します。より賢い推測を行うようにネットワークに教えるために、学習アルゴリズムは逆に動作します。試行するたびに、推測と正解の間の差が計算されます (この例では、この差は最後の層の 4 番目のニューロンでは高い値で表され、他の場所では低い値で表されます)。

アルゴリズムは、ネットワークを層ごとに逆方向に遡って、最終的なニューロンの値が必要に応じて増減するように重みを調整する方法を計算します。このプロセスはバックプロパゲーションと呼ばれ、深層学習の中核です。バックプロパゲーションでは、推測と調整を繰り返すことにより、1 つの画像によって開始される乗算のカスケードを介して出力される一連の数値に重みを導きます。

#出典: Quanta Magazine Merrill Shermanしかし、脳の思考と比較すると、人工神経のデジタル学習インターネット上での作業は非常に効率が悪いようです。人間の子供は、1 日あたり 2,000 カロリー未満の摂取カロリーで、わずか数年で話したり、読んだり、ゲームをしたりできるようになります。このような限られたエネルギー条件下では、流暢な会話が可能な GPT-3 ニューラル ネットワークがチャットを習得するには 1,000 年かかる可能性があります。

物理学者の観点から見ると、大規模なデジタル ニューラル ネットワークは、過剰な計算を実行しようとしているだけです。今日最大のニューラル ネットワークは、5,000 億を超える数値を記録し、操作する必要があります。この驚異的な数字は、以下の画像の論文「Pathways Language Model (PaLM): Scaling to 540 Billion Parameters for Breakthrough Performance)」から引用したものです。 #論文リンク: https://ai.googleblog.com/2022/04/pathways- language-model-palm-scaling-to .html

その間、宇宙は存在し続けます。コンピューターのわずかな計算能力の限界をはるかに超えるタスク。部屋の中では何兆もの空気分子が飛び跳ねている可能性があります。

本格的な衝突シミュレーションの場合、これはコンピューターが追跡できない移動オブジェクトの数ですが、空気自体はあらゆる瞬間の独自の動作を簡単に決定できます。私たちの現在の課題は、人工知能に必要な画像を分類する「思考」と、画像を正しく分類する「学習」という2つのプロセスを自然に完了できる物理システムを構築することです。

これら 2 つのタスクを習得するシステムは、単に数学的な計算を行うのではなく、宇宙の数学的な力を真に利用していることになります。 「3.532 掛ける 1.567 などという計算は一度もしたことがありません」とシェリエ氏は語った。 「システムは物理法則に従って暗黙的に計算します。」

2 思考セクション

マクマホンと共同研究者たちパズルの「考える」部分で進歩しました。新型コロナウイルス感染症（COVID-19）のパンデミックが起こる数か月前、マクマホン氏はコーネル大学に研究室を設立し、奇妙な発見について考えを巡らせていた。長年にわたり、画像認識用の最高のパフォーマンスを発揮するニューラル ネットワークはますます深化してきました。つまり、より多くの層を持つネットワークは、大量のピクセルを取得し、それに「プードル」などのラベルを付けるのに優れています。

この傾向は、数学者にニューラル ネットワークによって実装される変換 (ピクセルから「プードル」まで) を研究するきっかけを与えました。2017 年に、いくつかのグループが論文「Arbitrarily Deep Residual Neural Networks」について報告しました。 Reversible Architectures for Arbitrarily Deep Residual Neural Networks」では、ニューラル ネットワークの動作は滑らかな数学関数の近似バージョンであると提案しています。

論文アドレス: https://arxiv.org/abs/1709.03698

数学では、この関数は、入力 (通常は x 値) を出力 (この位置の曲線の y 値または高さ) に変換します。特定の種類のニューラル ネットワークでは、関数のギザギザが少なく、理想的な曲線に近づくため、層が多い方がより効果的に機能します。マクマホン氏はこの研究をきっかけに考え始めた。

おそらく、滑らかに変化する物理システムを通じて、デジタル手法に固有のブロックを回避できるでしょう。重要なのは、複雑なシステムを飼いならす方法を見つけること、つまりトレーニングを通じてその動作を調整することです。マクマホン氏と彼の共同研究者らは、チタンプレートの多くの振動モードが入ってくる音を複雑に混合するため、このようなシステムにチタンプレートを選択しました。 スラブをニューラル ネットワークのように機能させるために、入力画像をエンコードしたサウンド (手書きの 6 など) と、シナプスの重みを表す別のサウンドを入力しました。デバイスが音を組み合わせて答えを出すには、音の山と谷が適切なタイミングでチタン プレートに当たる必要があります。たとえば、6 ミリ秒以内に最も大きな新しい音は、「6」の分類を表します。

図: コーネル大学の研究チームは、手書きの数字を「読み取る」ための 3 つの異なる物理システムを訓練しました。左から右に、振動するチタン プレート、水晶、電子回路です。出典: 左の写真と中央の写真はコーネル大学のロブ・クルコバ氏が撮影し、右の写真はクアンタ・マガジンのチャーリー・ウッド氏が撮影しました。 チームはまた、光学システム (入力画像と重みが結晶によって混合された 2 つのビームにエンコードされる) と、電子回路で入力を同様に変換できるシステムにもそのスキームを実装しました。

原理的には、ビザンチン動作を行うシステムならどれでもそうすることができますが、研究者らは光学システムが特別な可能性を秘めていると信じています。結晶は光を非常に速く混合するだけでなく、光には世界に関する豊富なデータも含まれています。マクマホン氏は、彼の光学ニューラルネットワークの小型版が、いつか自動運転車の目として機能し、私たちの網膜が何らかの基本的な視覚を行うのと同じように、一時停止標識や歩行者を認識し、その情報を車のコンピューターチップに送り込むことができるようになるだろうと想像している。入射光も同様に扱われます。

ただし、これらのシステムのアキレス腱は、システムをトレーニングするにはデジタル世界に戻る必要があることです。バックプロパゲーションでは、ニューラル ネットワークを逆に実行する必要がありますが、フィルムや結晶では音と光を簡単に分解できません。そこでチームは、各物理システムのデジタル モデルを構築しました。これらのモデルをラップトップ上で反転すると、バックプロパゲーション アルゴリズムを使用して重みを調整して正確な答えを得る方法を計算できます。

このトレーニングを通じて、チタン プレートは 87% の精度で手書き数字を分類できるようになりました。上の写真の回路とレーザーの精度は、それぞれ 93% と 97% に達します。フランス国立科学研究センター (CNRS) の物理学者ジュリー・グロリエ氏は、「この結果は、標準的なニューラル ネットワークだけがバックプロパゲーションでトレーニングできるわけではないことを示しています。それは美しいです。」と述べています。研究チームの振動チタンプレートはまだ脳の驚くべき効率に近いコンピューティング効率をもたらしておらず、このデバイスはデジタルニューラルネットワークほど高速ではありません。しかし、マクマホン氏は、人間が自分の脳やコンピューターチップ以上のものを使って考えることができることを証明しているため、自分のデバイスは素晴らしいと考えています。 「あらゆる物理システムはニューラル ネットワークになり得る。」

彼は言いました。

3 学習部分

もう 1 つの難しい問題は、システムを完全に自律的に学習させる方法です。ドイツのマックス・プランク光科学研究所の物理学者、フロリアン・マルカート氏は、その方法の 1 つは、逆向きに動作する機械を構築することだと考えています。昨年、彼と共同研究者は、論文「ハミルトニアン エコー バックプロパゲーションに基づく自己学習マシン」物理シミュレーションの中で、そのようなシステム上で実行できるバックプロパゲーション アルゴリズムを提案しました。

論文アドレス: https://arxiv.org/abs/2103.04992

証明するにはこれを行うために、彼らはデジタル技術を使用してマクマホンのデバイスと同様のレーザーデバイスをシミュレートし、別の入力波と混合される 1 つの光波の調整可能な重みをエンコードしました (画像などのエンコード)。彼らは出力を正解に近づけ、光学コンポーネントを使用して波を分割し、プロセスを逆転させます。 「魔法は、同じ入力でデバイスをもう一度試すと、出力が希望の値に近づく傾向があるということです。」と Marquardt 氏は言いました。そのようなシステムを構築するための作業が実験者と進行中です。しかし、逆方向に動作するシステムに焦点を当てると選択肢が制限されるため、他の研究者はバックプロパゲーションを完全に置き去りにしました。

彼らは、脳の学習方法が標準的なバックプロパゲーションではないことを知っていたため、研究はヒットせず、さらに前進しました。 「脳は逆伝播しません。ニューロン A がニューロン B と通信するとき、その伝播は一方向です。」とシェリエ氏は言います。

注: CNRS の物理学者 Julie Grollier は、バックプロパゲーションの有望な代替手段と見なされている物理学習アルゴリズムを実装しました。

画像出典: Christophe Caudroy2017 年、Scellier とモントリオール大学のコンピューター科学者 Yoshua Bengio は、バランスのとれた伝播に対する一方向学習アプローチと呼ばれる方法。

これがどのように機能するかを次のように理解できます。ニューロンのような矢印のネットワークを想像してください。その方向は 0 または 1 を表し、シナプスの重みとして機能するバネによってグリッドに接続されています。スプリングが緩むほど、接続する矢印が一直線に並ぶのが難しくなります。まず、左端の矢印の行を回転して手書きの数字のピクセルを反映させ、次に左端の矢印の行を変更せずに他の矢印を回転させ、この摂動をスプリング全体に広げます。

反転が停止すると、右端の矢印が答えを示します。重要なのは、このシステムをトレーニングするために矢印を反転する必要がないということです。代わりに、正解を示す別の矢印をネットワークの下部に接続することができます。これらの正しい矢印により、上部の矢印が反転し、グリッド全体が新しい平衡状態に入ります。

最後に、矢印の新しい方向と古い方向を比較し、それに応じて各スプリングを締めたり緩めたりします。多くの実験の後、バネはよりスマートな張力を獲得し、これが逆伝播と同等であることを Scellier と Bengio が示しました。 「物理的なニューラル ネットワークとバックプロパゲーションの間には何の関連性もないと人々は考えていました。それが最近変わりました。非常に興味深いことです。」

Balanced Propagation の最初の研究については、次のとおりでした。理論的。しかし、グロリエ氏とCNRSの物理学者ジェレミー・レイデヴァン氏は、今後の記事で、D-Waveが構築した量子アニーリングマシンでのアルゴリズムの実行について説明している。このデバイスには、バネで結ばれた矢印のように機能する何千もの相互作用する超伝導体のネットワークがあり、「バネ」がどのように更新されるべきかを自然に計算します。ただし、システムはこれらのシナプスの重みを自動的に更新できません。

4 ループを閉じる

少なくとも 1 つのチームがいくつかのコンポーネントを集めて、物理学を使用してすべての面倒な作業を行う電子回路を構築しました。 . 、それが達成できるタスクには、重みの思考、学習、更新が含まれます。 「私たちは小さなシステムのループを閉じることができました」とペンシルバニア大学の物理学者サム・ディラヴォウ氏は語った。 ## キャプション: ペンシルバニア大学の物理学者サム・ディラヴーは、学習しながら自身を修正できる回路をいじりました。

Dillavou と彼の共同研究者の目標は、真の知性であり、命令を与えるために単一の構造を必要としない比較的統合されたシステムである脳を模倣することです。 「各ニューロンは独自のことを行っています」と彼は言いました。これを行うために、彼らはシナプスの重みが可変抵抗器であり、ニューロンが抵抗器間で測定される電圧である自己学習回路を構築しました。

指定された入力を分類するために、この回路はデータを複数のノードに印加される電圧に変換します。電流は回路内を流れ、エネルギーの散逸が最も少ない経路を探し、安定するにつれて電圧を変化させます。答えは、出力ノードの電圧を指定することです。このアイデアの革新性は、結合学習と呼ばれる、平衡伝播に似たスキームを設計した挑戦的な学習ステップにあります。 ある回路がデータを受信して​​結果を「推測」すると、別の同一の回路が正しい答えから始めて、それをその動作に組み込みます。最後に、抵抗の各ペアを接続する電子機器がその値を自動的に比較し、「よりスマートな」構成に調整します。

このグループは、昨年夏のプレプリント (以下に示す) で基本的な回路について説明しました。「分散型証明のデモンストレーション、物理駆動型学習」(物理駆動型学習) という論文では、これが次のことを示しています。この回路は 95% の精度で 3 種類の花を区別することを学習できます。そして現在、より高速で強力なデバイスの開発に取り組んでいます。

論文アドレス: https://arxiv.org/abs/2108.00275このアップグレードでも、最も強力なアドバンストを倒すことはできませんシリコンチップ。しかし、これらのシステムを構築する物理学者は、デジタル ニューラル ネットワークは、今日強力であるように見えても、最終的にはアナログ ネットワークに比べて遅く、不十分なものになるだろうと疑っています。

デジタル ニューラル ネットワークは、過剰計算で行き詰まる前に、一定のポイントまでしかスケールアップできませんが、より大規模な物理ネットワークはそれ自体でなければなりません。 「これは非常に大規模で、急速に成長し、常に変化している分野であり、これらの原理を使用して非常に強力なコンピューターが構築されると確信しています」とディラヴー氏は語った。

以上が宇宙の力を利用してデータを処理しましょう! 「物理ネットワーク」はディープニューラルネットワークをはるかに上回るパフォーマンスを発揮しますの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。