AIにも健忘症はあるのでしょうか？ 41歳のイギリス人教授への独占インタビュー：壊滅的な物忘れの解決

継続的な学習を実現し、AI を継続的にするにはどうすればよいでしょうか?

最近、ロチェスター大学のコンピューター科学者クリストファー ケイナン (41 歳) は独占インタビューで、AI が時間をかけて継続的に学習できるアルゴリズムを構築していると述べました。 - 私たちと同じように 人間と同じです。

壊滅的な忘却

誰もが知っているように、AI はその後非常に長く「試験」を完了することができます。ただし、これらのアルゴリズムは、人間のように知識ベースを新しい情報で継続的に更新することはできません。

新しいことを 1 つでも学習するには、アルゴリズムを最初からトレーニングする必要がありますが、その代償として、以前に学習したことのほぼすべてを忘れてしまいます。これがもたらす問題は「壊滅的な忘却」です。新しい友達に出会ったときと同じように、彼女の名前を知る唯一の方法は脳を再起動することです。

これが起こる理由は、ニューラル ネットワークが新しいことを学習する方法によるものです。これらのアルゴリズムを学習するにはニューロン間の結合の強さを変える必要がありますが、これは過去の知識でもあるため、結合を変えすぎると忘れてしまいます。

生物学的ニューラル ネットワークは、重要な情報を安定に保つために、数億年にわたって戦略を進化させてきました。しかし、今日の人工ニューラル ネットワークは、古い知識と新しい知識の間でバランスをとるのに苦労しています。ネットワークが新しいデータを認識すると、その接続は簡単に上書きされる可能性があり、その結果、突然、過去の情報を認識できなくなる可能性があります。

1. 哲学の研究は、研究に対する考え方にどのような影響を与えましたか?

哲学が教えてくれるのは、「どのようにして合理的な議論を展開するのか」と「どのように他人の議論を分析するのか」ということです。

私の研究室は、次の質問に触発されました。 X ができない場合、どうやって Y を行うことができますか?

私たちは時間の経過とともに学習しますが、ニューラル ネットワークは学習しません。その知識の量は固定されています。したがって、将来人間が汎用人工知能を作成したい場合、これは解決しなければならない基本的な問題です。

Kanan の研究ノート

2. 学界における壊滅的な物忘れの解決における現在の進歩はどのようなものですか?

現時点で最も成功している方法はリプレイと呼ばれるもので、過去の知識を保存し、トレーニング プロセス中に新しいデータ セットでそれをリプレイできるため、元の情報が失われることはありません。

この方法は、私たちの脳の記憶固定プロセス (Memory Consolidation) からインスピレーションを得たもので、睡眠中にニューロンの活性化に合わせて 1 日の学習内容が再エンコードされて再生されます。

#言い換えれば、新しい学習によってアルゴリズムの過去の知識を完全に消去することはできません。

これを実現するには 3 つの方法があります。

• 最も一般的なアプローチは「リアル リプレイ」です。このアプローチでは、研究者は元の入力のサブセット (たとえば、物体認識タスクの生の画像) を保存し、これらの保存された過去の画像と学習した画像を組み合わせます。新しいイメージが融合。
• 2 番目の方法は、イメージの圧縮表現を再生することです。
• 3 番目のあまり一般的ではない方法は、「リプレイの生成」です。

ここで、人工ニューラル ネットワークは実際に過去の経験の合成バージョンを生成し、その合成例を新しい例と混合します。私の研究室では、後者の 2 つのアプローチに重点を置いています。

3. 壊滅的な忘却を完全に解決できれば、人工知能は時間をかけて新しいことを学習し続けることができるということになるでしょうか? ＃＃＃＃＃＃＃＃＃＃＃＃完全ではありません。継続学習の分野における未解決の問題は、壊滅的な忘れではないと思います。

私が本当に興味があるのは、

過去の学習によって将来の学習がどのように効率化できるのかということです。未来の学習は過去の学習をどのように修正するのでしょうか?これらを測定する人はほとんどいません。測定することは、この分野を前進させるための重要な部分だと私は思います。なぜなら、それは単に何かを忘れることではなく、より良い学習者になることだからです。

クリストファー・ケイナンはこう言いました:

現代のニューラル ネットワークよりもはるかに多くのことが私たちの頭の中で起こっていることは間違いありません。過去の学習が将来の学習に役立つかどうかを測定するには、適切な実験およびアルゴリズムの設定をセットアップする必要があります。そして、現在の最大の問題は、継続学習を研究するための優れたデータセットがないことです。基本的に、従来の機械学習で使用されている既存のデータセットを取得し、それらをゼロから開発しています。

一般的に言えば、機械学習の通常の動作では、トレーニング セットとテスト セットがあり、トレーニング セットでトレーニングし、テスト セットでテストします。

しかし、継続的な学習はこれらのルールを破ります。トレーナーが学習するにつれてトレーニング セットを発展させることができるため、非常に優れた継続的な学習環境が必要です。

4.理想的な継続学習環境とはどのようなものであるべきでしょうか?

それが何であるかよりも、何でないのかを説明する方が簡単です。

それが持つ可能性のある特性についてお話します。そこで今のところ、AI アルゴリズムがシミュレーションで具現化された知性ではないと仮定しましょう。そして、少なくとも理想的には、私たちはビデオなど、マルチモーダル ビデオ ストリームのようなものから学習しており、単に静止画像を分類する以上のことをしたいと考えています。

これについては未解決の疑問がたくさんあります。数年前、継続学習のワークショップに参加したとき、私と同じような人が「MNIST というデータセットの使用をやめなければなりません。単純すぎるのです。」と言いました。すると、誰かが「それでは、インクリメンタルを使用することにします」と言いました。 StarCraft で学習しています。」

さまざまな理由でこれを実行していますが、問題を実際に解決するには十分ではないと思います。結局のところ、人生には StarCraft の遊び方を学ぶこと以外にもたくさんのことがあります。

5.あなたの研究室では、時間の経過とともに学習するアルゴリズムをどのように設計しようとしていますか?

私の元生徒であるタイラー ヘイズと私は、類推論に関する継続的学習研究の先駆者となりました。この記事は CVPR 2021 にも掲載されました。

論文リンク: https://openaccess.thecvf.com/content/CVPR2021W/CLVision/html/Hayes_Selective_Replay_Enhances_Learning_in_Online_Continual_Analogical_Reasoning_CVPRW_2021_paper.html

これは次のようになると考えられます。より複雑な問題を解決するには、より高度なスキルを使用する必要があるため、転移学習のアイデアを学ぶのに適した分野です。

具体的には、逆方向伝達、つまり過去に学んだことが将来どれだけ役立つか、またその逆についてのデータを測定しました。

私たちは、物体認識のような単純なタスクよりもはるかに重要な、転移の良い証拠を発見しました。

6.人工知能は本当に人間と同じように学習できると思いますか?

#そうなると思います。この分野には、この目標に向かって取り組んでいる非常に優秀な人材がたくさんいます。

しかし、私たちに必要なのは創造性です。機械学習コミュニティにおける多くの研究は、以前の研究に基づいていくつかの小さな改良を加えたものであり、真に革新的な研究はそれほど多くありません。

しかし、その日は必ず来ます、それは時間の問題です。

クリストファー・ケイナン

クリストファー・ケイナンは、ロチェスター大学のコンピューターサイエンスの終身准教授です。主な研究の方向性は、継続学習、人工知能のバイアス、医療用コンピューター ビジョン、言語ガイドによるシーン理解を含む深層学習に関する基礎研究です。

Kanan は、オンライン継続学習、視覚的質問応答、計算病理、セマンティック セグメンテーション、物体認識、物体検出、アクティブ ビジョン、物体追跡などに取り組んできました。機械学習に加えて、彼はアイトラッキング、霊長類の視覚、理論的神経科学にも強い背景を持っています。

これに先立ち、彼はロチェスター工科大学 (RIT) のカールソン画像科学センターで終身准教授を務めていました。在職中、同僚と人間意識人工知能センター (CHAI) を共同設立し、副所長を 4 年間務めました。さらに、ケイナンはコーネル工科大学の客員准教授として、4 年間にわたって毎年約 100 人の大学院生にディープ ラーニングのコースを教えていました。

クリストファー・ケイナンは、オクラホマ州の田舎にある小さな町で育ちました。

1996 年、彼は人工知能の研究を始め、まだ高校生だったケイナンは、オンライン マルチプレイヤー コンピューター ゲームをプレイするために多くの「ボット」を構築しました。

2002 年、ケイナンはオクラホマ州立大学 (OSU) に入学し、哲学とコンピューター サイエンスを専攻し、2004 年に学士号を取得しました。

2006 年に、計算神経科学とニューラル ネットワークのパイオニアであるマイケル アービブと協力して、人工知能と神経科学に焦点を当て、南カリフォルニア大学 (USC) でコンピューター サイエンスの修士号を取得しました。 2013 年にカリフォルニア大学サンディエゴ校 (UCSD) からコンピューター サイエンスの博士号を取得しました。卒業後、ケイナンはカリフォルニア工科大学に進学し、博士研究員としての研究に従事しました。

参考: https://www.quantamagazine.org/the-computer-scientist-trying-to-teach-ai-to-learn-like-we- do -20220802/

以上がAIにも健忘症はあるのでしょうか？ 41歳のイギリス人教授への独占インタビュー：壊滅的な物忘れの解決の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。