GPT-5研究開発中止を求める激しい攻防が巻き起こる！アンドリュー・ンとルカンが反対側でリードし、ベンジオがサポートに立った

昨日、スーパー AI トレーニングの 6 か月間停止を求める何千人もの偉人たちが書いた共同書簡が、国内外のインターネット上で爆弾のように爆発しました。

一日中口頭でのやりとりが続いた後、数名の主要人物やその他の著名人が公の場で返答するために出てきました。

非常に公式的なものもあれば、非常に個人的なもの、そして問題に直接直面していないものもあります。しかし、1つ確かなことは、これらの大物たちの見解と彼らが代表する利益団体の両方が慎重に検討する価値があるということです。

興味深いのは、チューリングのビッグ 3 のうち、1 人は署名に先んじ、1 人は強く反対し、1 人は何も言わなかったことです。

ベンジオの署名、ヒントンの沈黙、ルカンの反対

アンドリュー・ン (反対)

この事件では、Google Brain の元メンバーであり、オンライン教育プラットフォーム Coursera の創設者である Andrew Ng が明確な反対者でした。

彼は、「AI を GPT-4 を超えて進歩させる」ことを 6 か月間停止するのは悪い考えであると、自分の態度を明確に述べました。

彼は、教育、ヘルスケア、食品、その他の分野で多くの新しい AI アプリケーションを見てきており、多くの人がその恩恵を受けるだろうと述べました。 GPT-4 を改善することも有益です。

私たちがすべきことは、AIが生み出す巨大な価値と現実のリスクとのバランスを取ることです。 ＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃ 共同書簡で言及された「超強力なＡＩの訓練をすぐに中止できない場合は、政府が関与すべきである」について、Ng Endaもこの考えはひどいと言いました。

同氏は、理解できない新興技術の一時停止を政府に求めるのは反競争的であり、悪しき前例となり、ひどい政策革新であると述べた。

彼は、責任ある AI が重要であり、AI にはリスクがあることを認めました。

しかし、「AI企業が必死になって危険なコードを公開している」というメディアの表現は明らかに誇張しすぎている。 AI チームの大多数は、責任ある AI と安全性を非常に重視しています。しかし、「残念ながら、すべてではない」とも認めた。

最後に、彼はもう一度強調しました:

6 か月の停職期間は現実的な提案ではありません。 AI の安全性を向上させるために、透明性と監査に関する規制はより現実的であり、より大きな影響を与えるでしょう。テクノロジーが進歩するにつれて、進歩を妨げるのではなく、セキュリティにももっと投資しましょう。

彼のツイッターでは、ネチズンはすでに強い反対を表明している：上司たちがこれほど冷静なのは、おそらく失業の痛みが彼らに降りかからないからだろう。

ルカン (反対派)

共同書簡が送られるとすぐに、ネチズンは急いで知らせました：チューリング賞の巨匠ベンジオとルカンの二人が書簡に署名しました！

インターネットの最前線を頻繁にサーフィンしている LeCun 氏は、すぐにこの噂に反論しました。いいえ、私は署名していませんし、この書簡の前提には同意しません。

一部のネチズンは、私もこの手紙に同意できないと言っていますが、私は興味があります：あなたが同意しない理由この手紙は、あなたが LLM を考えているということです。LLM は人類をまったく脅かすほど進歩していませんか、それとも他の理由がありますか?

しかし、LeCun 氏はこれらの質問には何も答えませんでした。

20時間の謎の沈黙の後、LeCun氏は突然ネチズンのツイートをリツイートした:

「OpenAIは十分長く待つことができる。それまでに6か月かかった」 GPT4 がリリースされました! 彼らはこのためのホワイト ペーパーも作成しました...」

これに関して、LeCun 氏は次のように賞賛しました。その通り、いわゆる「研究開発の停止」です。 「秘密の研究開発」にほかならないが、これは一部の署名者の期待とは正反対である。

ルカンの洞察力のある目からは、何も隠すことができないようです。

以前質問したネチズンも同意しました。これが私がこの嘆願書に反対する理由です。「悪者」は本当に止まりません。

「では、これは誰も遵守しない軍縮条約のようなものですか？歴史上、このような例はあまりないのではないでしょうか？」

後しばらくの間、はい、彼は大物のツイートをリツイートしました。

上司は、「私も署名しませんでした。この手紙には、ひどいレトリックと、無効または存在しない政策規定がたくさん詰まっています。」と言いました。同意する。 "。

ベンジオとマーカス (はい)

公開書簡に署名した最初の偉人は、有名なチューリング賞受賞者のヨシュア ベンジオです。

もちろん、ニューヨーク大学のマーカス教授も賛成票を投じました。彼はこの公開書簡を暴露した最初の人物のようだ。

議論が大きくなった後、彼はすぐに自分の立場を説明するブログを投稿しましたが、そのブログにはまだ見どころがたくさんありました。

速報: 先ほど述べた手紙は現在公開されています。この書簡では、「GPT-4よりも強力な」AIのトレーニングを6か月間一時停止するよう求めている。多くの有名人が署名しました。私も参加しました。

私はその草案には関与しませんでした。他に気にすべきことがあるからです (例: どの AI が GPT-4 より強力なのか? GPT-4 のアーキテクチャやトレーニング セットの詳細についてはまだ解明されていないため)まだ発表されていないので、どうやって知ることができるでしょうか?)—しかし、この手紙の精神は私が支持するものであり、リスクと利益をより適切に処理できるようになるまでは、慎重に進むべきです。

次に何が起こるかを見るのは興味深いでしょう。

そして、Marcus が 100% の同意を表明した別の観点も非常に興味深いものです。この観点は次のように述べています:

GPT-5 はAGI であること。 GPT モデルが AGI ではないことはほぼ確実です。私たちが現在使用している手法 (勾配降下法) で最適化されたモデルを AGI にすることはまったく不可能です。次期 GPT モデルは間違いなく世界を変えるでしょうが、それを過剰に宣伝するのはおかしいです。

アルトマン (非コミットメント)

現時点では、サム アルトマンはこの公開書簡に関して明確な立場を表明していません。

ただし、彼は一般的な人工知能についていくつかの見解を表明しました。

#優れた汎用人工知能の構成要素:

1. スーパーインテリジェンスのための技術的能力の調整

2. 最も先進的な AGI 取り組み間の適切な調整

3. 効果的な世界的な規制の枠組み

一部のネチズンは、「何と連携するのか? 誰と連携するのか? 一部の人々と連携するということは、他の人と連携することを意味する。連携していない。」

##このコメントは「それなら、オープンさせるべきです。」というコメントに注目しました。

OpenAI のもう 1 人の創設者であるグレッグ ブロックマン氏は、アルトマン氏のツイートをリツイートし、OpenAI の使命は「AGI が全人類に確実に利益をもたらすことである」と改めて強調しました。

またしても一部のネチズンがその点を指摘しました。「君たちは一日中「デザイナーの意図と一致している」と言い続けているが、それ以外は誰も真実を知らない」 . アライメントとはどういう意味ですか。

ユドコウスキー (急進的)

エリーザー ユドコウスキーという名前の意思決定理論家もいます。彼はより急進的な態度をとります:

AI 開発を停止するだけでは十分ではありません。すべての AI をシャットダウンする必要があります。全部閉まってる！

#このままでは私たち全員が死んでしまいます。

公開書簡が公開されるとすぐに、ユドコウスキーはすぐに長い記事を書き、それをTIME誌に掲載しました。

彼は、彼の意見では、その手紙はあまりにも穏やかすぎるため、署名しなかったと言いました。

この手紙は状況の深刻さを過小評価しており、解決すべき問題が少なすぎます。

彼は、重要な問題は「人間と競争する」という知性ではないと言いましたが、明らかに、AI が人間よりも賢くなったら、このステップは明らかです。

重要なのは、彼を含む多くの研究者が、超人的な知性を備えた AI を構築した場合の最も可能性の高い結果は、地球上の全員が死ぬことであると信じていることです。

は「たぶん」ではなく「必ず」です。

十分な精度がない場合、最も可能性の高い結果は、私たちが作成した AI が私たちが望んでいることを実行しない、私たちのことを気にしない、または気にしないということです。私たち他の知覚生命。

理論的には、AI にこの種のケアを学習させることができるはずですが、現時点ではその方法がわかりません。

そのような配慮がなければ、次のような結果が得られます。

AI はあなたを愛していませんし、憎んでいるわけでもありません。あなたは単なる原子物質の山です。 Do anything を使用できます。

そして、人間が超人的な AI に抵抗しようとすると、「11 世紀が 21 世紀を倒そうとしているのと同じように、必然的に失敗するでしょう」 「南方のホモ類人猿はホモ・サピエンスを倒そうとした」。

ユドコウスキー氏は、私たちが悪いことをすると想像しているAIは、インターネット上に住んで毎日人間に悪意のあるメールを送信している思想家であるが、実際には敵対的なものである可能性があると述べました。超人的な AI は、人間よりも何百万倍も速く思考する異星文明であり、その観点から見ると、人間は愚かで遅いものです。

この AI が十分に賢ければ、コンピューター内に留まるだけではなくなります。 DNA配列を電子メールで研究室に送信すると、研究室はオンデマンドでタンパク質を生成し、AIは生命体を持ちます。その後、地球上のすべての生き物は死にます。

この状況で人間はどう生きていけばいいのでしょうか？現時点では予定はありません。

OpenAI は、将来の AI への調整を求める一般の呼びかけにすぎません。そして、もう一つの有力な AI 研究機関である DeepMind には、まったく計画がありません。

OpenAI 公式ブログより

AI が意識を持っているかどうかに関係なく、これらの危険は存在しますか否か。その強力な認知システムは、複雑な結果を満たす標準出力を最適化して計算するために懸命に働きます。

実際、現在の AI はトレーニング データから自己認識を模倣しているだけかもしれません。しかし、実際には、これらのシステムの内部構造についてはほとんどわかっていません。

もし私たちがまだ GPT-4 について無知で、GPT-3 から GPT-4 へのように GPT-5 が驚くべき機能を進化させたとします。が同じである場合、GPT-5 を作成したのが人間なのか、AI 自体なのかを知ることは困難です。

2 月 7 日、Microsoft CEO の Nadella は、新しい Bing のせいで Google が「出てきてちょっと踊らされた」と公の場でほくそ笑んだ。

彼の行動は不合理です。

この問題については 30 年前に考えるべきでした。ギャップを埋めるには 6 か月では十分ではありません。

AI の概念が提案されてから 60 年以上が経過しました。超人的なAIが「誰も殺さない」ことを保証するには、少なくとも30年はかかるはずだ。

私たちは自分の間違いから学ぶことができません。一度間違えたら終わりだからです。

6 か月の停止で地球が存続できるのであれば、私も同意しますが、そうではありません。

#私たちがしなければならないことは次のとおりです:

#1. 新しい大規模言語モデルのトレーニングは一時停止するだけでなく、無期限だけでなく、グローバルに実装される予定です。

そして政府や軍を含めて例外はあり得ません。

#2. 最も強力な AI のトレーニングに使用される大規模なコンピューティング施設である大規模な GPU クラスターをすべてシャットダウンします。

大規模な AI をトレーニングしているすべてのモデルを一時停止し、AI システムのトレーニング時に全員が使用するコンピューティング能力に上限を設定し、今後数年間でこの上限を段階的に引き下げます。より効率的なトレーニング アルゴリズムを補うまでに数年かかります。

政府と軍も例外ではなく、禁止された行為が他国に移転されることを防ぐための多国間協定を直ちに確立しています。

販売されたすべての GPU を追跡する。協定外の国で GPU クラスターが構築されているという情報があれば、問題のデータセンターは空爆によって破壊されるべきです。

国家間の武力紛争よりも、モラトリアム違反のほうが心配すべきだ。何事も国益の衝突とは考えず、軍拡競争について語る人は愚か者であることを知ってください。

この点において、私たちは皆、共に生きるか、共に死ぬかのどちらかです。これは政策ではなく、自然の事実です。

投票

署名の人気が高すぎたため、チームはレビューが追いつくように最初に表示を一時停止することにしました。 (リストの先頭にある署名はすべて直接検証されています)

以上がGPT-5研究開発中止を求める激しい攻防が巻き起こる！アンドリュー・ンとルカンが反対側でリードし、ベンジオがサポートに立ったの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。