サム・アルトマン氏が警告：AIは人類を滅ぼすだろう！ 375人以上の上司が22語の共同書簡に署名、ルカン氏は常識に反した

|この記事は次から転載されています: 新智元[新しい知恵の紹介]AIは本当に人類を滅ぼすつもりなのでしょうか? 375 人の偉人が 22 語の共同書簡に共同署名した。

3月、数千の著名人が「スーパーAI」の研究開発を中止する共同書簡に署名し、業界全体に衝撃を与えた。

つい昨日、たった22文字の共同手紙がまた大騒ぎを引き起こしました。

一言で言えば、AI は人類を数分で絶滅させる感染症や核戦争に例えられます。

署名者の中には、人工知能の 2 人の「ゴッドファーザー」であるヒントンとベンジオのほか、シリコンバレーの巨人企業の幹部、サム・アルトマン、デミス・ハサビス、および人工知能の分野で働く他の研究者も含まれています。

これまでに、人工知能に携わる 370 名以上の幹部がこの共同書簡に署名しています。

しかし、この手紙は全員に支持されたわけではありません。

「チューリングビッグ3」の1人であるルカン氏は、率直にこう言った。「私はそう思わない」。

人工知能の使用は人間の知性を強化することができ、これは核兵器や致命的な病原体とは異なり、本質的に良いことです。人間に近いレベルの人工知能を作成するための確かな青写真さえありません。それができたら、それを安全にする方法を見つけます。 』

この共同書簡には具体的に何が書かれているのでしょうか?

「致命的」公開書簡

22 語、簡潔に:

「AI が人類にもたらす絶滅のリスクを軽減することは、世界レベルの優先事項に引き上げられるべきです。私たちが感染症や核戦争などの社会的危機に対応するのと同じように。」

この公開書簡に署名した AI 業界の人々は、その終わりがまだ見えていません。

視界に入ったのは、ジェフリー・ヒントン氏、ヨシュア・ベンジオ氏、Google DeepMind CEO デミス・ハサビス氏、OpenAI CEO サム・アルトマン氏、そして Anthropic CEO のダリオ・アモデイ氏でした。

言うまでもなく、ここでのヒントンのゴールドコンテンツは、Google の元副社長、深層学習の専門家、ニューラル ネットワークの父、そしてチューリング賞受賞者です。

ヨシュア・ベンジオはチューリング賞受賞者でもあり、ヒントン、ルカンと合わせて「三大チューリング賞」と呼ばれています。 (ただし、この件に関してルカン氏は他の2大巨人に対して全く反対の態度をとっている)

テクノロジー大手で働く偉い人たちに加えて、著名な AI 学者もいます。たとえば、UC バークレーの Dawn Song 氏や清華大学の Zhang Yaqin 氏などです。

これらのおなじみの名前の下には、AI 業界の無数の人々がいます。

この公開書簡への署名には誰でも参加できます。

お名前、メールアドレス、役職などをご記入いただければサイン会にご参加いただけます。

ただし、選択できる ID はそれほど多くありません。 (犬の頭)

異議:人類絶滅は全くのナンセンスです

もちろん、メタの主任科学者ルカンは相変わらず悪魔の擁護者を演じています。

彼の一貫した視点は次のとおりです: AI の発展は今どこにあるのでしょうか? 毎日、脅威とセキュリティについて話しています。

同氏は、列挙された脅威はまったく存在しないため、単純に現在の人工知能開発レベルを超えていると述べた。人間はおろか、犬のレベルに達するように最初に AI を設計できるようになるまでは、その安全性を確保する方法を議論するのは時期尚早です。

スタンフォード大学のNg氏の立場はLeCun氏と同じですが、理由は少し異なります。

彼は、AI がさまざまな問題を引き起こすのではなく、今後私たちが遭遇するさまざまな問題は AI によってのみ解決できると信じています。

例: 次の感染症の流行、気候変動による人口減少、小惑星の地球衝突など。

彼は、人類が生き残り、繁栄し続けたいのであれば、AI の開発を減速させるのではなく、加速させなければならないと述べました。

一部のネチズンは、これはAIではなく、あなたが話しているMAGIC（魔法）であるとコメントしました。

AI リスクの側面

それでは、これらの大物たちが主張する、人類を絶滅させるのに十分なリスクとは何でしょうか?

彼らは次の 8 つの側面をまとめました。

兵器化

一部の人々は AI を破壊的な方法で使用する可能性があり、それは人類の生存に危険をもたらし、政治的不安定を悪化させるでしょう。

たとえば、深層強化学習テクノロジーは空戦に応用できるようになり、機械学習は化学兵器の作成に使用できるようになりました (論文によると、GPT-4 は実験室で独立して実験を行い、化学物質を合成できることが示されています)。

さらに、近年、研究者たちは自動化されたサイバー攻撃のための AI システムを開発しており、軍指導者らは AI による核サイロの制御を望んでいます。

したがって、将来的にはAI大国が戦略的優位性を占め、国家間の軍拡競争はAIの分野に移行することになる。たとえほとんどの国が、構築するシステムが安全であり、他国の安全を脅かさないことを保証しているとしても、意図的に AI を使用して悪いことをしたり危害を加えたりする国が依然として存在する可能性があります。

これは核兵器のようなものです。もし不従順で不正直な者がいたら、それはすべて無駄になります。

デジタル領域における害はすぐに広がるからです。

＃＃＃＃＃＃誤報＃＃＃＃＃＃

誰もが長い間、誤った情報について聞いてきました。言うまでもなく、少し前にアメリカの弁護士が訴訟に ChatGPT を使用しましたが、引用された訴訟のうち 6 件は捏造された例であり、これは現在でも非常に人気があります。 国、政党、組織などの影響力のある集団は、AI を使用して一般の人々の政治的信念やイデオロギーなどに (通常は微妙に) 影響を与え、変更する能力を持っています。

同時に、AI自体も非常に挑発的(または説得力のある)意見を生成し、ユーザーの強い感情を呼び起こす能力も持っています。

そして、これらの予想される起こり得る結果は完全に予測不可能であり、警戒する必要があります。

エージェント「トリック」

AI システムは、私たち人間が価値を置くものの間接的な代理にすぎない具体的な目標に基づいてトレーニングされます。 これは、AI がトレーニング後に、見たい動画や記事をユーザーにプッシュできるようなものです。

しかし、この方法が良いというわけではありません。レコメンデーション システムにより、人々はより極端な考え方をするようになり、各ユーザーの好みを予測しやすくなる可能性があります。

AI のパフォーマンスが将来的に強力かつ影響力を増すにつれて、システムのトレーニングに使用する目標もより慎重に確認する必要があります。

人間の「劣化」

映画「ウォーリー」を見たことがあるなら、機械がますます強力になった将来、人間がどのようになるかを想像することができます。 ぽっこりお腹、体力の低下、問題がたくさんあります。

AIにすべてを委ねてしまえば、人間は自然と「劣化」してしまうからです。

特に、多くの仕事が AI 自動化によって置き換えられる将来のシナリオでは、このシナリオがより現実的になります。

しかし、ルカン氏の見解によれば、おそらく再度批判される必要があるだろう。 『ウォーリー』で想像された光景にはまだ程遠い。

テクノロジー独占

それは技術そのものとは何の関係もありませんが、この点は「技術独占」が起こる可能性を強調しています。 おそらくいつか、最も強力な AI はますます少数の利害関係者によって制御され、それを使用する権利はしっかりと彼らの手に握られるでしょう。

そして本当にそうなると、残った一般人は全く抵抗できずに翻弄される状態になるでしょう。

リューの SF 小説「Feeding Humanity」について考えてみましょう。

端末が AI に依存して世界中のすべての人を支配するとしたら、どれほど恐ろしいことでしょう。

制御不能な開発

この点は主に、AI システムが特定の段階まで発展すると、その結果が設計者の想像を超えて制御できなくなる可能性があることを説明したいと考えています。 実のところ、これは主流派が懸念している点でもあります。

AIが発展すると、『ターミネーター』の「スカイネット」や『アイアンマン』の「ウルトロン」のように制御不能になり、人類を滅ぼそうとするようになるのではないかと心配する人は常にいるでしょう。

開発の過程には、さらに進んで初めて明らかになるリスクがあり、発見された時にはもう手遅れです。新たなターゲットも現れるかもしれない。

＃＃＃＃＃＃浮気＃＃＃＃＃＃

この点はやや抽象的ですが、簡単に言うと、AI システムが人間を「騙す」可能性があるということです。 この種の「欺瞞」は意図的なものではなく、AI がエージェントの目的を達成するための単なる手段です。

「欺瞞」によって人間の認識を獲得することは、通常の経路を通じて人間の認識を獲得するよりも効率的であり、効率は AI の主な考慮事項です。

権力を求める行動

これと技術独占との間には相関関係があります。 技術独占が起こるからこそ、各国は技術を独占する力を追求することになる。

そして、この種の「追求」は予期せぬ結果をもたらす可能性があります。

参考文献:

https://www.safe.ai/statement-on-ai-risk

https://twitter.com/ylecun/status/1663616081582252032?s=46&t=iBppoR0Tk6jtBDcof0HHgg

以上がサム・アルトマン氏が警告：AIは人類を滅ぼすだろう！ 375人以上の上司が22語の共同書簡に署名、ルカン氏は常識に反したの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。