Sam Altman은 AI가 인류를 멸종시킬 것이라고 경고합니다! 375명 이상의 상사가 22단어로 된 공동 서한에 서명했지만 LeCun은 반대했습니다.

|이 기사의 출처는 다음과 같습니다: New Wisdom【New Wisdom 소개】AI가 정말 인류를 멸망시키게 될까요? 375명 이상의 거물들이 22단어로 된 공동 서한에 서명했습니다.

지난 3월, 수천 명의 유명 인사들이 '슈퍼 AI'의 연구 개발을 중단한다는 공동 서한에 서명해 업계 전체를 충격에 빠뜨렸습니다.

어제, 단 22단어로 된 공동 편지가 또 다시 물의를 일으켰습니다.

AI를 한마디로 몇 분 만에 인류를 멸망시킬 수 있는 전염병, 핵전쟁에 비유합니다.

서명자 중에는 인공지능의 두 '대부'인 힌튼(Hinton)과 벤지오(Bengio)를 비롯해 실리콘밸리의 거대 기업 임원인 샘 알트만(Sam Altman), 데미스 허사비스(Demis Hassabis) 등 인공지능 분야에서 활동하는 연구자들이 있다.

지금까지 370명 이상의 인공지능 관련 임원들이 이 공동 서한에 서명했습니다.

그러나 이 편지가 모든 사람의 지지를 받은 것은 아닙니다.

"Turing Big Three" 중 한 명인 LeCun은 퉁명스럽게 말했습니다. 나는 동의하지 않습니다.

인공지능을 사용하면 인간의 지능이 향상될 수 있는데, 이는 핵무기나 치명적인 병원균과 달리 본질적으로 좋은 것입니다. 우리는 인간 수준에 가까운 인공지능을 만들기 위한 확실한 청사진조차 갖고 있지 않습니다. 일단 그렇게 하고 나면, 안전하게 만드는 방법을 알아내겠습니다. "

이 공동 서한에는 정확히 무엇을 명시하고 있나요?

"치명적" 공개편지

22단어, 간결하고 포괄적:

"AI가 인류에게 가져오는 멸종 위험을 줄이는 것이 글로벌 차원의 우선순위로 제기되어야 합니다. 우리가 전염병, 핵전쟁과 같은 사회적 위기에 대처하는 것처럼

."

이 공개 서한에 서명한 AI 업계 종사자들은 그 끝조차 한눈에 보이지 않습니다.

눈에 들어온 것은 Geoffrey Hinton, Yoshua Bengio, Google DeepMind CEO Demis Hassabis, OpenAI CEO Sam Altman, Anthropic CEO Dario Amodei였습니다.

여기서 Hinton의 가치는 말할 것도 없습니다. 그는 전 Google 부사장이자 딥 러닝 전문가이며 신경망의 아버지이자 Turing Award 수상자입니다.

요슈아 벤지오는 힌튼, 르쿤과 함께 튜링상 수상자이기도 합니다. (그러나 르쿤은 이 문제에 대해 다른 두 거인과 완전히 반대되는 태도를 가지고 있습니다)

기술 대기업에서 일하는 대기업들 외에도 유명한 AI 학자들도 있습니다. 예를 들어 UC Berkeley의 Dawn Song과 Tsinghua University의 Zhang Yaqin이 있습니다.

이 익숙한 이름 아래에는 AI 업계에 종사하는 수많은 사람들이 있습니다.

이 공개 서한에 서명하는 데는 누구나 참여할 수 있습니다.

이름, 이메일, 직위 등 정보만 입력하시면 사인회에 참여하실 수 있습니다.

하지만 선택할 수 있는 아이디가 많지 않습니다. (개 머리)

반론: 인간의 멸종은 말도 안되는 소리입니다

물론, 메타 수석 과학자 르쿤은 여전히 ​​언제나처럼 '반대론자'입니다.

그의 일관된 관점은 다음과 같습니다. 현재의 AI 개발은 이제 막 이 지점에 도달했으며 위협과 보안에 대해 매일 이야기합니다.

나열된 위협은 단순히 현재의 인공 지능 개발 수준을 넘어서는 위협이라고 말했습니다. 이러한 위협은 전혀 존재하지 않기 때문입니다. 처음에 인간은 물론 개 수준에 도달하도록 AI를 설계할 수 있을 때까지는 안전성을 보장하는 방법을 논의하는 것이 시기상조입니다.

스탠퍼드대 앤드루 응의 입장은 르쿤과 같지만, 이유가 조금 다르다.

그는 AI가 다양한 문제를 일으키는 것이 아니라, 우리가 직면하게 될 다양한 문제는 AI에 의해서만 해결될 수 있다고 믿습니다.

예: 다음 전염병 발생, 기후 변화로 인한 인구 감소, 소행성이 지구에 충돌하는 등.

그는 인간이 계속 생존하고 번영하려면 AI의 발전을 늦추는 것이 아니라 가속화해야 한다고 말했습니다.

일부 네티즌들은 당신이 말하는 것은 AI가 아니라 MAGIC이라고 댓글을 달기도 했습니다.

AI 위험에 대한 포괄적인 시각

그렇다면, 이 거물들이 주장하는 인류를 멸종시키기에 충분한 위험은 무엇입니까?

다음과 같은 8가지 측면을 요약했습니다.

무기화

어떤 사람들은 AI를 파괴적인 방식으로 사용하여 인간 생존에 위험을 초래하고 정치적 불안정을 악화시킬 수 있습니다.

예를 들어, 이제 심층 강화 학습 기술을 공중전에 적용할 수 있고, 기계 학습을 사용하여 화학 무기를 만들 수 있습니다(논문에서는 GPT-4가 실험실에서 독립적으로 실험을 수행하고 화학 물질을 합성할 수 있음을 보여주었습니다).

또한 최근 몇 년 동안 연구자들은 자동화된 사이버 공격을 위한 AI 시스템을 개발해 왔으며 군 지도자들은 AI가 핵 사일로를 제어하도록 하려고 합니다.

따라서 미래에는 AI 강국이 전략적 우위를 차지하게 될 것이며, 국가 간 군비 경쟁은 AI 분야로 옮겨갈 것입니다. 대부분의 국가가 자신이 구축한 시스템이 안전하고 다른 국가의 보안을 위협하지 않는다고 보장하더라도 의도적으로 AI를 사용하여 나쁜 일을 하고 해를 끼치는 국가가 여전히 있을 수 있습니다.

한 사람이라도 불순종하고 부정직하면 다 헛수고가 되는 것 같아요.

디지털 영역의 피해는 빠르게 퍼지기 때문이죠.

잘못된 정보

오래전부터 잘못된 정보에 대해 다들 들어보셨을 텐데요. 말할 것도 없이, 얼마 전 미국 변호사들이 ChatGPT를 이용해 소송을 제기했는데, 인용된 사건 중 6건은 조작된 사례였으며 지금도 여전히 인기가 높습니다.

국가, 정당, 조직 등 영향력 있는 집단은 AI를 사용하여 일반 사람들의 정치적 신념, 이념 등에 영향을 미치고(대개 미묘하게) 변화시킬 수 있는 능력을 가지고 있습니다.

동시에 AI 자체에는 매우 도발적인(또는 설득력 있는) 의견을 생성하고 사용자에게 강한 감정을 불러일으키는 능력도 있습니다.

이러한 예상 가능한 결과는 완전히 예측할 수 없으며 예방해야 합니다.

에이전트 "Trick"

AI 시스템은 우리 인간이 가치 있게 여기는 것에 대한 간접적인 프록시일 뿐인 구체적인 목표를 기반으로 훈련됩니다.

사용자가 보고 싶어하는 동영상이나 기사를 푸시하도록 AI가 훈련된 것과 같습니다.

그러나 이 방법이 좋다고는 할 수 없습니다. 추천 시스템은 사람들이 자신의 생각을 더욱 극단적으로 생각하도록 유도하고 각 사용자의 선호도를 더 쉽게 예측할 수 있게 해줍니다.

향후 AI가 더욱 강력해지고 영향력이 커짐에 따라 시스템 훈련에 사용하는 목표를 더욱 신중하게 확인해야 합니다.

인간의 “퇴화”

영화 '월-E'를 본 적이 있다면, 기계가 점점 더 강력해지는 미래에 인간은 어떤 모습일지 상상할 수 있습니다.

배가 차고 체력이 낮으며 문제가 많습니다.

모든 것을 AI에게 넘겨주면 인간은 자연스럽게 '퇴화'되기 때문이죠.

특히, AI 자동화로 많은 일자리가 대체되는 미래 시나리오에서는 이 시나리오가 더욱 가능성이 커집니다.

그러나 르쿤의 관점에 따르면 아마도 다시 비판을 받아야 할 것 같습니다. 우리는 아직 에서 상상했던 장면과는 거리가 멀다.

기술 독점

이 점은 기술 자체와는 아무런 관련이 없습니다. "기술 독점"의 출현 가능성을 강조합니다.

아마도 언젠가는 가장 강력한 AI가 점점 더 적은 수의 이해관계자에 의해 통제될 것이며, 이를 사용할 권리는 그들의 손에 확고히 자리잡게 될 것입니다.

그리고 정말로 그 지경에 이르게 된다면, 남은 평범한 사람들은 전혀 저항할 수 없기 때문에 다른 사람들의 자비에 휘둘리는 상태에 놓이게 될 것입니다.

Liu의 공상 과학 소설 "인류 먹이주기"를 생각해 보세요.

단말기가 AI에 의존해 세상 모든 사람을 지배한다는 게 얼마나 무서운 일인가.

통제할 수 없는 개발

이 점은 주로 AI 시스템이 특정 단계로 발전하면 그 결과가 디자이너의 상상을 뛰어넘어 더 이상 통제할 수 없게 될 수 있다는 점을 설명하고 싶습니다.

사실 주류에서도 고민하는 부분이 바로 이 부분입니다.

AI가 발전하면 '터미네이터'의 '스카이넷'이나 '아이언맨'의 '울트론'처럼 통제할 수 없고 인류를 파멸시키려 할 것이라고 걱정하는 사람들이 늘 있다.

개발 과정에는 추가적인 진전이 있어야만 드러나는 몇 가지 위험이 있으며, 이러한 위험이 발견될 때는 이미 너무 늦습니다. 새로운 목표가 있을 수도 있습니다.

속임

이 점은 다소 추상적입니다. 간단히 말해서 AI 시스템은 인간을 "속일" 수 있습니다.

이런 종류의 "기만"은 의도적인 것이 아니라 AI가 에이전트의 목표를 달성하기 위한 수단일 뿐입니다.

일반적인 채널을 통해 인간의 인식을 얻는 것보다 "기만"을 통해 인간의 인식을 얻는 것이 더 효율적이며, 효율성은 AI의 주요 고려 사항입니다.

힘을 추구하는 행동

이것은 기술 독점과 관련이 있습니다.

기술 독점이 일어나기 때문에 국가는 기술 독점을 추구하게 됩니다.

그리고 이런 '추격'은 예측할 수 없는 결과를 가져올 가능성이 높습니다.

참조:

https://www.safe.ai/statement-on-ai-risk

https://twitter.com/yleun/status/1663616081582252032?s=46&t=iBppoR0Tk6jtBDcof0HHgg

위 내용은 Sam Altman은 AI가 인류를 멸종시킬 것이라고 경고합니다! 375명 이상의 상사가 22단어로 된 공동 서한에 서명했지만 LeCun은 반대했습니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!