ChatGPT가 입소문을 타면서 LeCun의 사고방식은 무너졌습니다! 대형 언어 모델을 악의 길이라고 부르는 메타 모델은 3일 만에 오프라인 상태가 되었습니다.

지난 이틀 동안 Turing Award 수상자 Yann LeCun은 약간의 정신적 쇠약을 겪었습니다.

ChatGPT가 인기를 얻은 이후 Microsoft는 OpenAI로 등을 맞췄습니다.

뺨때린 구글은 '평판 리스크'에 대해서는 아무 말도 하지 않았습니다.

LaMDA, DeepMind's Sparrow, Apprentice Bard 등 모든 언어 모델을 가속화하고 선반에 놓을 수 있습니다. 그런 다음 그는 자신의 OpenAI를 빠르게 지원하기 위해 Anthropic에 거의 4억 달러를 투자했습니다. (나도 마이크로소프트가 갖고 있는 것을 원한다)

그런데 마이크로소프트와 구글이 앞장서고 있는 모습을 바라보면서도 불안하게 뛰어다닐 수밖에 없는 사람이 있다.

이 사람은 Meta의 수석 AI 과학자 Yann LeCun입니다.

그는 Twitter에서 매우 화를 냈습니다. "ChatGPT는 말도 안 되는 일로 가득 차 있는데 당신은 참을성이 많은데, 내 Galactica는 나온 지 3일 밖에 안 됐는데 당신이 그걸 오프라인에서 꾸짖었어요."

누가 속상했는지는 말하지 않겠습니다

딥러닝 3대 거인이자 튜링상 수상자인 르쿤의 행동 하나하나가 눈길을 사로잡습니다.

1월 27일 Zoom의 소규모 미디어 및 임원 모임에서 LeCun은 ChatGPT에 대해 놀라운 평가를 했습니다. "기본 기술에 관한 한 ChatGPT는 큰 혁신이 아닙니다. 대중의 눈에는 혁신적이지만 잘 조합된 제품일 뿐이라는 것을 우리는 알고 있습니다." "Google과 Meta 외에 6개의 스타트업이 기본적으로 매우 유사한 기술을 가지고 있습니다. "

또한 그는 Transformer가 다음과 같이 말했습니다. ChatGPT가 사용하는 아키텍처는 Google에서 제안한 것이며, 그가 사용한 자체 감독 방법은 당시 OpenAI에서 주장한 것과 정확히 같습니다. 아직 탄생하지 않았습니다.

이 발언이 나오자마자 대중은 난리가 났습니다. 오픈 AI의 CEO인 샘 알트만은 이 발언 때문에 르쿤을 직접적으로 폄하한 것으로 보인다.

이후 르쿤은 팬들과 말싸움을 이어갔다.

1월 28일 LeCun은 다음과 같이 트윗했습니다. “대규모 언어 모델은 물리적 직관이 없으며 텍스트로 훈련을 받았습니다. 거대한 연관 기억에서 유사한 질문에 대한 답을 검색할 수 있다면 물리적 직관 질문을 올바르게 얻을 수 있습니다. 하지만 그들의 대답은 완전히 틀렸을 수도 있습니다. "

2월 4일, LeCun은 다시 트윗을 통해 "인간 수준의 AI로 가는 길에는 큰 언어 모델이 비뚤어진 길입니다."라고 말했습니다.

이 말을 하자마자 네티즌들은 신이 나서 댓글창으로 달려가 메시지를 남겼다.

LeCun은 나중에 다음과 같이 덧붙였습니다. "자동 회귀 및 다음 단어의 응답 예측에 의존하는 LLM은 계획도 추론도 할 수 없기 때문에 잘못된 방향입니다."

"하지만 SSL 사전 훈련된 Transformer가 솔루션입니다. 왜냐하면 실제 시스템에는 추론, 계획 및 학습 능력이 있기 때문입니다."

LeCun은 흥미로운 예를 들었습니다. 참여 중 팟캐스트에서 ChatGPT의 답변을 보여드렸는데요. 그럴싸해 보이지만 너무 틀렸습니다. 그러나 진행자는 ChatGPT의 답변을 읽은 후 그것이 틀렸다는 것을 즉시 깨닫지 못했습니다.

LeCun은 다음과 같이 설명했습니다. "세상에 대한 우리의 사고 방식과 인식 방식은 앞으로 일어날 일을 예측할 수 있게 해줍니다. 이것이 우리가 상식을 습득하는 기초이며 LLM에는 이러한 능력이 없습니다.

" 그는 또 트윗을 남겼습니다: "인간 수준의 AI를 만들기 전에 고양이/개 수준의 AI를 만들어야 합니다. 그런데 지금은 그렇게도 할 수 없습니다. 우리는 아주 중요한 것을 놓치고 있습니다. 아시다시피 애완용 고양이도요. 메시지 영역에서 일부 네티즌들은 르쿤을 무례하게 비난했다. "틀렸나요? 제가 개인적으로 테스트한 결과 Galactica의 오류율은 100%에 가깝고 ChatGPT의 오류율은 100%에 가깝습니다.

네티즌들의 비난에 대해 르쿤은 다시 한번 트윗을 통해 애티튜드를 표현했다. 모델인데 ChatGPT만큼 성공하진 못해요. ChatGPT는 말도 안되는 소리로 가득 차 있는데 너무 관대하시네요. 그런데 제 Glacatica가 막 출시됐어요. 3일 만에 오프라인이 될 때까지 당신한테 혼났어요."

이에 댓글창의 일부 네티즌들은 "대박이다. 연구실로 돌아가서 무슨 말을 했는지 말해보는 게 어때? 일이 이루어졌다"라고 비꼬기도 했다.

르쿤이 답했다. : "오늘은 일요일이고 트위터 토론은 제가 가장 좋아하는 주말 시간이에요."

내 모델은 3일밖에 살지 못했습니다

르쿤은 당연히 속상해해요.

지난해 11월 중순 Meta의 FAIR 연구소는 논문 생성, 백과사전 항목 생성, 질문 답변, 화학 공식 및 단백질 서열의 다중 모드 작업 완료 등을 수행할 수 있는 Galactica 모델을 제안했습니다.

Galactica에서 생성한 논문

LeCun도 학술 문헌을 기반으로 훈련된 모델이라고 기쁜 마음으로 트윗하고 칭찬했습니다. . 논문을 완성하세요.

하지만 갤럭티카는 거짓말로 가득 차 있었기 때문에 온라인에 나온 지 불과 3일 만에 네티즌들에 의해 오프라인에서도 트롤링을 당했습니다.

LeCun은 Papers with Code의 공지를 리트윗하며 "큰 원한"처럼 말했습니다: "이제 Galactica와 더 이상 즐겁게 놀 수 없게 됐으니 만족하시나요?"

Galactica의 데모는 온라인에서만 가능했지만 하지만 당시 유저들은 만만치 않은 적과 마주한 듯한 느낌을 받았습니다.

일부 네티즌들은 경고했습니다. 학생들이 이 "종이 쓰기" 도구를 어떤 용도로 사용할지 생각해 보세요.

일부 네티즌들은 "갤럭티카 모델의 답변은 오류와 편견으로 가득 차 있는데 어조가 매우 자신감 있고 권위적이다. 정말 끔찍하다"라고 말했다. Ma Kus는 또한 이러한 대규모 언어 모델이 학생들이 교사를 속이기 위해 사용될 수 있다는 우려를 표명했습니다.

이 친숙한 공식과 친숙한 맛은 정말 감동적입니다. Galactica로 인한 당황과 의심은 나중에 ChatGPT가 경험했던 것과 똑같지 않습니까?

반복되는 역사의 시기를 지켜보지만 전혀 다른 결말로 르쿤이 괜히 이토록 씁쓸하다고는 할 수 없다.

그렇다면 ChatGPT는 의심의 소음 속에서 점점 더 인기를 끌 수 있는데 Galactica는 비참하게 꾸짖고 오프라인으로 전환될 수 밖에 없는 이유는 무엇일까요?

우선 Galactica는 OpenAI와 같은 소규모 스타트업보다 대기업이 더 많은 "평판 위험"에 직면한다고 Meta에서 제안했습니다.

또한 OpenAI의 제품 포지셔닝 전략은 매우 똑똑합니다. ChatGTP의 이름에서 주요 컨셉이 채팅임을 알 수 있습니다.

지식이나 논문에 대해서는 채팅을 할 수 있지만, 채팅이니까 자연스럽게 놔둬도 됩니다. 채팅은 반드시 "정확"하고 "엄격"해야 한다고 누가 규정했습니까?

그러나 Gactica의 공식 정의는 "이것은 과학 연구를 위한 모델입니다." "이것은 인간의 과학적 지식으로 훈련된 인공 지능입니다. 이를 우주에 대한 우리의 지식에 접근하고 조작하세요.”

물론 이것은 나 자신에게 큰 함정을 설정하고 있습니다.

기술적인 측면에서 ChatGPT는 혁신이 별로 없지만, 제품 운영 측면에서 OpenAI는 매우 훌륭한 성과를 거두었습니다.

LLM은 왜 말도 안되는 소리를 하고 있나요?

그렇다면 왜 큰 언어 모델은 말도 안되는 소리를 하는 걸까요?

LeCun이 좋아요를 누른 기사에서 저자는 다음과 같이 설명했습니다. "블로그 게시물 작성을 돕기 위해 ChatGPT를 사용하려고 시도했지만 모두 실패로 끝났습니다. 이유는 간단합니다. ChatGPT는 종종 잘못된 "사실"을 많이 생성합니다. ".

자연어는 지식과 같지 않습니다.

알다시피, LLM은 다른 사람과 대화할 때 사람처럼 말하는 것인데, 그들은 이 목표를 아주 잘 달성합니다. 하지만 문제는 자연스럽게 들리는 것과 정보의 정확성을 평가하는 것은 완전히 다른 두 가지라는 것입니다.

그렇다면 이 문제를 어떻게 해결할 수 있을까요?

예를 들어, 물리에 대한 이해를 인코딩한 기계인 물리 엔진을 사용할 수 있습니다.

• 물리학에 대한 질문임을 인식할 수 있도록 LLM을 수정하세요
• 문제를 물리 엔진으로 변환하세요 장면
• 물리 엔진을 사용하여 장면을 시뮬레이션합니다.
• 단어를 사용하여 장면의 출력을 설명합니다.

"가짜 종이 문제"의 경우 유사한 수정을 사용할 수도 있습니다.

즉, ChatGPT가 과학 논문에 대해 질문을 받았거나 논문에 대해 뭔가를 쓰고 있음을 인식하고 계속하기 전에 신뢰할 수 있는 데이터베이스를 참조하도록 강제합니다.

하지만 이렇게 하면 LLM에 특정한 추가 "사고"를 접목했다는 뜻이라는 점에 유의하세요. 그리고 고려해야 할 특별한 상황이 많이 있습니다. 이 시점에서 인간 엔지니어들은 진실이 어디서 왔는지 알았지만 LLM은 그렇지 않았습니다.

또한 엔지니어들이 이러한 수정 사항을 점점 더 많이 접목함에 따라 LLM이 인공 일반 지능의 한 형태가 아니라는 것이 점점 더 분명해졌습니다.

인간의 지능이 무엇이든, 우리 모두는 그것이 단지 말을 잘하는 능력 그 이상이라는 것을 알고 있습니다.

인간 언어의 다양한 용도

인간은 왜 서로 이야기하고, 서로를 위해 글을 적어주는 걸까요?

목적 중 하나는 "나는 매장에 있습니다", "플러그가 연결되어 있지 않습니다" 등과 같은 사실적인 정보를 직접적으로 전달하는 것이지만 이것이 우리가 언어를 사용하는 유일한 이유는 아닙니다.

• 설득, 요청, 명령, 지시
• 감정 전달
• 다른 사람을 즐겁게 하고(소설, 농담 등을 포함), 자신을 즐겁게 하세요
• 속임수(거짓말)
• 관계 구축(친구와 연결, 유혹)

...

봐요 인간의 의사소통 목적은 매우 다양하다는 것이 밝혀졌습니다. 더욱이, 우리는 대개 우리가 쓰는 글의 목적을 명시하지 않으며, 이러한 내용의 역할에 대해 저자와 독자는 서로 다른 인식을 가지고 있습니다.

ChatGPT가 신뢰할 수 있는 사실 전달자가 되려면 훈련을 통해 인간이 쓴 글의 다양한 목적을 구별하는 방법을 배워야 할 수도 있습니다.

즉, 헛소리를 심각하게 받아들이지 않는 법, 설득과 선전을 객관적인 분석과 구별하는 법, 출처의 신뢰성과 인기를 독립적으로 판단하는 법 등을 배워야 합니다.

이것은 인간에게도 매우 어려운 트릭입니다. 연구에 따르면 잘못된 정보는 정확한 정보보다 트위터에서 몇 배 더 빨리 퍼지는 것으로 나타났습니다. 종종 더 선동적이고 재미있거나 겉으로 보기에는 새로운 것처럼 보입니다.

그렇다면 생성 인공 지능이 컴퓨터 코드에서 왜 그토록 잘 수행되는가? 기능 코드 작성의 정확성이 사실 전달의 정확성으로 해석되지 않는 이유는 무엇입니까?

이에 대한 가능한 대답은 컴퓨터 코드가 의사소통이 아닌 기능적이라는 것입니다. 올바른 문법으로 코드를 작성하면 일부 작업이 자동으로 수행되지만, 올바른 문법으로 문장을 작성한다고 해서 반드시 아무것도 달성되는 것은 아닙니다.

게다가 컴퓨터 코드의 학습 코퍼스를 "좋은" 코드, 즉 의도한 목적을 완벽하게 수행하는 코드로 제한하기 쉽습니다. 대조적으로, 목적을 성공적으로 달성하는 텍스트 코퍼스를 생성하는 것은 거의 불가능합니다.

따라서 신뢰할 수 있는 사실 전달자가 되도록 훈련하기 위해 LLLM은 기능적인 컴퓨터 코드를 생각해 내도록 훈련하는 것보다 훨씬 어려운 작업을 완료해야 합니다.

사실과 넌센스를 구별할 수 있는 LLM을 구축하는 것이 엔지니어에게 얼마나 어려운지는 모르겠지만, 인간에게도 어려운 작업입니다.

마커스: 세기의 화해

LeCun의 일련의 발언은 모두를 궁금하게 만들었습니다. Marcus가 이렇게 말할 것이 아닐까요?

뜨거운 (치) 열정적 (gua) 네티즌에게는 @Marcus가 있으며 이 문제에 대한 그의 날카로운 의견을 기대합니다.

오랫동안 GPT를 앓고 있던 마커스는 자연스럽게 기뻐하며 르쿤의 게시물에 바로 '100실실'이라는 댓글을 달았다.

Marcus도 자신의 블로그에 LeCun과의 '애증 관계'를 검토하는 글을 올렸습니다.

마커스는 르쿤과 오랜 친구였지만 갤럭티카에 대해 한 몇 마디 말 때문에 서로 등을 돌렸다고 말했습니다.

사실 마커스와 르쿤은 몇 년 동안 서로 전쟁을 벌여왔는데, 단순히 갤럭티카가 오프라인 상태가 되었기 때문만은 아닙니다.

최근 몇 년 동안 다른 두 Turing Award 수상자 Bengio와 Hinton의 상대적으로 낮은 프로필과 달리 LeCun은 소셜 미디어에서 활동하는 것으로 AI 서클에서도 유명합니다. Arxiv에 실패하자마자 많은 직업이 트위터에서 홍보되었습니다.

세간의 이목을 끄는 마커스는 항상 트위터를 자신의 본거지로 여겼습니다. 르쿤의 홍보가 마커스의 견해와 충돌할 때 어느 쪽도 물러서지 않을 것입니다.

SNS상에서는 두 사람이 싸울 때마다 말다툼을 벌이는 지경까지 이르렀다고 할 수 있습니다. .

그리고 Liang Zi 이야기를 하자면 2019년 LeCun이 Hinton, Bengio와 함께 Turing Award를 수상한 후 원래 Marcus가 LeCun 옆에 서 있던 단체 사진이 있었는데 LeCun이 공유한 사진에서는 Marcus가 무자비하게 잘렸습니다. 끄다.

그러나 ChatGPT의 탄생으로 모든 것이 바뀌었습니다.

ChatGPT는 입소문이 났고 Galactica는 3일 후에 시장에서 퇴출되었습니다. Marcus는 LLM에 대한 LeCun의 미친 결과를 보고 자연스럽게 기뻤습니다.

적의 적은 내 친구라는 말처럼 르쿤의 발언이 자신의 제품이 실패한 후 폭로된 것인지, 아니면 현재 최고 수준의 경쟁 제품을 질투하는 것인지, 마커스는 기꺼이 응합니다. 불에 연료를 추가합니다.

Marcus는 자신과 LeCun이 LLM의 과대광고와 한계 그 이상에 동의한다고 믿습니다. 그들은 둘 다 Cicero가 더 많은 관심을 받을 자격이 있다고 생각합니다.

마지막으로 모든 것을 이해하고 "이제 가족에게 혜택을 줄 시간이다"라고 말한 사람인 마커스@입니다.

트위터에서 르쿤이 시작한 비난 전쟁은 마커스에게 반GPT 군대에 더욱 강력한 인물을 선사했을 뿐만 아니라 두 사람에게 악수하고 화해할 수 있는 기회를 주었다고 할 수 있습니다. .

이렇게 보면 아마도 마커스가 최종 승자일지도 모르겠습니다.

위 내용은 ChatGPT가 입소문을 타면서 LeCun의 사고방식은 무너졌습니다! 대형 언어 모델을 악의 길이라고 부르는 메타 모델은 3일 만에 오프라인 상태가 되었습니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!