脳の機能をシミュレートし、まさに人間のような継続学習を実現するAIモデル

画像処理、スマート ヘルスケア、自動運転車、スマート シティなどのさまざまな AI 分野における画期的な進歩が示すように、ディープラーニングは間違いなく黄金時代を迎えています。今後 10 年ほどで、AI とコンピューター システムは最終的に人間のような学習能力と思考能力を備え、一定の情報の流れを処理し、現実世界と対話できるようになるでしょう。

ただし、現在の AI モデルは、新しい情報に基づいて継続的にトレーニングするとパフォーマンスの低下に悩まされます。これは、新しいデータが生成されるたびに、既存のデータに上書きされ、以前の情報が消去されるためです。この影響は「壊滅的な忘却」と呼ばれます。安定性と可塑性のジレンマにより、AI モデルは現在の知識の安定性を維持しながら、新しい情報に継続的に適応するために記憶を更新する必要があります。この問題により、SOTA AI モデルは現実世界の情報から継続的に学習できなくなります。

一方、エッジ コンピューティング システムにより、コンピューティングをクラウド ストレージやデータ センターから、モノのインターネットに接続されたデバイスなどの元のソースに近づけることができます。リソースが限られたエッジ コンピューティング デバイスに連続学習を効率的に適用することは依然として課題ですが、この問題を解決するために多くの連続学習モデルが現場で提案されています。従来のモデルでは、高いコンピューティング能力と大容量のストレージ容量が必要です。

最近、シンガポール工科デザイン大学 (SUTD) の研究チームは、エネルギー効率の高い連続学習システムを実現できる新しいモデルを設計し、「抵抗における連続学習電気伝導」を研究しました。 Switching-Memory Materials 」が Advanced Theory and Simulation 誌に掲載されました。

論文アドレス: https://onlinelibrary.wiley.com/doi/abs/10.1002/adts.202200226

研究チームは、脳にヒントを得て、自然に継続学習を行えるモデル「Brain-Inspired Replay（BIR）」を提案した。 BIR モデルは、人間の脳の機能をシミュレートする人工ニューラル ネットワークと変分オートエンコーダーに基づいており、データを保存せずに増分学習のようなシナリオで良好に機能します。研究者らはまた、BIR モデルを使用して、デジタル メモリ システムで電流を使用した導電性フィラメントの成長を表現しました。

下図の左上は生成再生設定を示し、右上は生成再生による人工ニューラルネットワークのトレーニングを示し、左下と右下は従来のニューラルネットワークの正規化された現在の精度を示しています。とBIRモデルをそれぞれ。

この論文の責任著者の 1 人である Loke 助教授は次のように説明しました。「BIR では、知識がトレーニング済みモデルに保存されるため、追加のタスクが導入されます。同時にパフォーマンスの損失も最小限に抑えられ、以前の作業のデータを参照する必要がありません。したがって、このアプローチにより、多くのエネルギーを節約できます。」

彼はまた、「保存されたデータがないため、現在の学習タスクのコンプライアンス課題に関して 89% の SOTA 精度を達成しました。これは従来の継続学習モデルの約 2 倍であり、高いエネルギー効率を実現します。」 BIR モデルが現実世界のフィールド情報を独立して処理できるようにするために、チームは研究の次の段階でその調整可能性を拡張する予定です。

ローク氏は、この研究は小規模な実証に基づいており、まだ初期段階にあると述べた。ただし、このアプローチを採用すると、エッジ AI システムが人間の制御なしで独立して開発できるようになります。

以上が脳の機能をシミュレートし、まさに人間のような継続学習を実現するAIモデルの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。