딥러닝이 벽에 부딪히나요? 누가 르쿤과 마커스 사이에 말벌집을 휘저었나요?

오늘의 주인공은 서로 사랑하고 죽이는 AI 업계의 오랜 적 한 쌍입니다.

Yann LeCun과 Gary Marcus

이번의 "새로운 불화"에 대해 정식으로 이야기하기 전에 먼저 "오래된 불화"를 검토해 보겠습니다. "두 명의 위대한 주인 사이."

LeCun과 Marcus의 전투

Facebook 수석 인공 지능 과학자이자 뉴욕 대학교 교수, 2018 Turing Award 수상자 Yann LeCun은 이전 Gary Marcus에 대한 답변으로 NOEMA 잡지에 기사를 게재했습니다. AI에 대한 리뷰 그리고 딥러닝.

이전에 Marcus는 잡지 Nautilus에 딥 러닝이 "앞으로 나아갈 수 없다"는 기사를 게재했습니다.

Marcus는 흥분을 지켜보고 너무 심각하게 받아들이지 않는 사람입니다.

약간 소란이 일어나자마자 "AI는 죽었다"고 말해 서클에 난리를 피웠다!

저는 이전에도 GPT-3를 "말도 안 되는 소리", "헛소리"라고 부르는 글을 여러 번 올렸습니다.

철저한 증거는 여기 있습니다:

얘야, 실제로 "딥 러닝이 벽에 부딪쳤다"고 말했지. AI 업계의 빅스타인 르쿤은 말이야. 가만히 앉아있지 말고 바로 답글을 올렸어요!

그리고 줄 서고 싶으면 같이 가겠다고 하더군요!

르쿤은 기사에서 마커스의 견해를 하나씩 반박했습니다.

스승님이 답글을 어떻게 쓰는지 한번 보시죠~~

다음은 르쿤의 장문의 글입니다:

현대 인공지능의 지배적 기술은 대규모 딥러닝(DL) 신경망(NN)입니다. 데이터의 패턴을 식별하고 활용하는 데 능숙한 대규모 자가 학습 알고리즘입니다. 처음부터 비평가들은 신경망이 "넘을 수 없는 벽"에 부딪혔다고 성급하게 믿었습니다. 그러나 매번 그것은 일시적인 장애물임이 입증되었습니다.

1960년대 NN은 비선형 함수를 풀 수 없었습니다. 그러나 이러한 상황은 오래가지 못했으며, 1980년대 역전파(backpropagation)의 등장으로 바뀌었지만 새로운 '넘을 수 없는 벽'이 다시 등장했다. 즉, 시스템 훈련이 매우 어려웠다.

1990년대 인간은 단순화된 절차와 표준화된 구조를 개발하여 훈련의 신뢰성을 높였지만 어떤 결과를 얻더라도 항상 "넘을 수 없는 벽"이 있는 것처럼 보였습니다. 이번에는 훈련 데이터와 컴퓨팅이 부족했습니다. 힘.

딥 러닝은 2012년부터 주류로 자리잡기 시작했습니다. 이때 최신 GPU는 대규모 ImageNet 데이터 세트를 학습하여 모든 경쟁사를 쉽게 물리칠 수 있었습니다. 그러나 의심의 목소리가 나타났습니다. 사람들은 "새로운 벽"을 발견했습니다. 딥 러닝 훈련에는 수동으로 레이블이 지정된 대량의 데이터가 필요합니다.

그러나 지난 몇 년 동안 이러한 의심은 무의미해졌습니다. 자기 지도 학습은 레이블이 지정된 데이터가 필요하지 않은 GPT-3와 같이 꽤 좋은 결과를 얻었기 때문입니다.

요즘 극복하기 어려운 장애물은 "기호 추론"입니다. 이는 대수적 또는 논리적 방법으로 기호를 조작하는 능력입니다. 우리가 어렸을 때 배운 것처럼, 수학 문제를 해결하려면 엄격한 규칙(예: 방정식 풀기)에 따라 단계별로 기호를 조작해야 합니다.

"The Algebraic Mind"의 저자이자 "Rebooting AI"의 공동 저자인 Gary Marcus는 최근 신경망이 이러한 기호 연산을 처리하는 데 어려움이 있기 때문에 DL이 더 이상 발전할 수 없다고 믿었습니다. 이와 대조적으로 많은 DL 연구자들은 DL이 이미 상징적 추론을 수행하고 있으며 계속해서 개선될 것이라고 믿습니다.

이 논쟁의 핵심은 인공 지능에서 상징의 역할입니다. 두 가지 다른 견해가 있습니다. 하나는 상징적 추론이 처음부터 하드 코딩되어야 한다고 믿는 것이고, 다른 하나는 기계가 경험을 통해 상징적 추론을 배울 수 있다고 믿는 것입니다. . 따라서 문제의 핵심은 인간의 지능을 어떻게 이해하고, 인간 수준에 도달할 수 있는 인공지능을 어떻게 추구해야 하는가이다.

인공 지능의 다양한 유형

기호 추론에서 가장 중요한 것은 정확성입니다. 순열과 조합에 따라 기호는 "(3-2)-1과 3-(2- 사이"와 같이 다양한 순서를 가질 수 있습니다. 1)" 차이점이 중요하므로 올바른 상징적 추론을 올바른 순서에 따라 수행하는 방법이 중요합니다.

Marcus는 이러한 종류의 추론이 인지의 핵심이며 언어의 기본 문법 논리와 수학의 기본 연산을 제공하는 데 필수적이라고 믿습니다. 그는 이것이 우리의 보다 기본적인 능력까지 확장될 수 있으며 이러한 능력 뒤에는 근본적인 상징적 논리가 있다고 믿습니다.

우리에게 익숙한 인공지능은 이런 추론에 대한 연구에서 시작되었으며 흔히 '상징인공지능'이라고 불린다. 그러나 인간의 전문 지식을 일련의 규칙으로 구체화하는 것은 매우 어렵고 엄청난 시간과 인건비를 소비합니다. 이것이 소위 "지식 획득 병목 현상"입니다.

수학이나 논리에 대한 규칙을 작성하는 것은 쉽지만 세상 자체는 흑백이고 매우 모호합니다. 모든 패턴을 제어하거나 모든 모호한 개념에 대한 기호를 정의하는 규칙을 인간이 작성하는 것은 불가능하다는 것이 밝혀졌습니다.

그러나 과학과 기술의 발전으로 신경망이 생겨났고, 신경망이 가장 잘하는 것은 패턴을 발견하고 모호함을 받아들이는 것입니다.

신경망은 시스템에 입력되는 모든 것에 대해 적절한 출력을 제공하는 함수를 학습하는 비교적 간단한 방정식입니다.

예를 들어, 2분류 네트워크를 훈련하려면 대량의 샘플 데이터(여기서는 의자를 예로 들겠습니다)를 신경망에 넣고 여러 에포크 동안 훈련시킨 후 마지막으로 네트워크가 그림이 의자인지 여부를 성공적으로 추론합니다.

직설적으로 말하면 이것은 단순히 인공지능에 관한 질문이 아니라 더 본질적으로 지능이란 무엇이며 인간의 뇌는 어떻게 작동하는가에 대한 질문입니다. ”

이러한 신경망은 이를 구현하는 함수가 미분 가능하기 때문에 정확하게 훈련될 수 있습니다. 즉, 기호 AI가 기호 논리에 사용되는 이산 토큰과 유사하다면 신경망은 미적분학의 연속 함수입니다. 이는 매개변수를 미세 조정하여 더 나은 표현을 제공합니다. 즉, 과소적합이나 과적합 문제 없이 데이터를 더 적절하게 맞출 수 있습니다. 그러나 엄격한 규칙과 개별 토큰의 경우 이러한 유동성은 새로운 벽을 만듭니다. 방정식에서 우리는 일반적으로 대략적인 답이 아닌 정확한 답을 원합니다.

여기서 Symbolic AI가 빛을 발하므로 Marcus는 간단히 두 가지를 결합할 것을 제안합니다. 하드 코딩된 기호 조작 모듈을 DL 모듈 위에 삽입하는 것입니다.

두 가지 접근 방식이 서로 매우 잘 보완되기 때문에 이는 매력적이므로 서로 다른 작업 방식을 가진 모듈의 "하이브리드"가 두 접근 방식의 장점을 극대화할 것으로 보입니다.

그러나 논쟁은 기호 및 조작 기능이 인간에 의해 설계되고 모듈이 구별 불가능하여 DL과 호환되지 않는 시스템에 기호 조작을 내장해야 하는지 여부로 향합니다.

전설적인 "상징적 추론"

이 가설은 매우 논란의 여지가 있습니다.

전통적인 신경망은 수동으로 상징적 추론을 수행할 필요가 없지만 상징적 추론을 학습할 수 있다고 믿습니다. 즉, 상징적 예를 사용하여 기계가 올바른 유형의 추론을 수행하도록 훈련하여 추상적 패턴의 완성을 학습할 수 있습니다. . 간단히 말해서, 기계는 내장된 손으로 만든 기호와 기호 조작 규칙이 없어도 세계의 기호를 조작하는 방법을 배울 수 있습니다.

GPT-3 및 LaMDA와 같은 현대의 대규모 언어 모델은 이러한 접근 방식의 잠재력을 보여줍니다. 상징을 조작하는 능력은 놀랍고, 이 모델은 놀라운 상식 추론, 조합 능력, 다국어 능력, 논리적 및 수학적 능력, 심지어 죽은 사람을 모방하는 무서운 능력까지 보여줍니다.

그러나 사실 이것은 신뢰할 수 없습니다. DALL-E에게 턱수염, 안경, 트로피컬 셔츠를 입은 철학자의 로마 조각상을 만들어 달라고 한다면 정말 훌륭할 것입니다. 그런데 핑크색 장난감을 입고 다람쥐를 쫓는 비글을 그려달라고 하면 가끔 핑크색 장난감을 입고 있거나 다람쥐를 쫓는 비글이 나오기도 합니다.

모든 속성을 하나의 개체에 할당할 수 있으면 훌륭하게 작동하지만 여러 개체와 속성이 있는 경우에는 불안정합니다. 많은 연구자들의 태도는 이것이 보다 인간과 유사한 지능을 향한 DL의 '벽'이라는 것입니다.

그렇다면 기호 연산을 하드 코딩해야 합니까? 아니면 학습이 가능한 것입니까?

이것은 Marcus의 이해가 아닙니다.

그는 상징적 추론이 전부 아니면 전무라고 가정합니다. DALL-E에는 작동의 기초가 되는 기호나 논리적 규칙이 없기 때문에 실제로 기호를 사용하여 추론하지 않습니다. 따라서 대규모 언어 모델의 수많은 실패는 그것이 진정한 추론이 아니라 단지 감정이 없는 기계적 모방임을 나타냅니다.

마커스의 경우, 충분히 큰 나무에 올라 달에 도달하는 것은 불가능합니다. 따라서 그는 현재의 DL 언어 모델이 Nim Chimpsky(미국 수화를 사용할 수 있는 수컷 침팬지)보다 실제 언어에 더 가깝지 않다고 믿습니다. DALL-E의 문제는 훈련 부족이 아닙니다. 이는 문장의 기본 논리 구조를 파악하지 못한 시스템일 뿐이므로 서로 다른 부분이 어떻게 전체로 연결되어야 하는지 정확하게 파악할 수 없습니다.

반대로, Geoffrey Hinton과 다른 사람들은 신경망이 하드 코딩된 기호와 대수적 추론 없이도 기호를 성공적으로 조작할 수 있다고 믿습니다. DL의 목표는 기계 내부의 기호 조작이 아니라 전 세계 시스템에서 올바른 기호를 생성하는 방법을 배우는 것입니다.

두 가지 양식을 혼합하는 것을 거부하는 것은 경솔한 것이 아니라 상징적 추론이 학습될 수 있다고 믿는지에 대한 철학적 차이에 근거한 것입니다.

인간 사고의 기본 논리

Marcus의 DL에 대한 비판은 지능이 작동하는 방식과 인간을 독특하게 만드는 요소에 대한 인지 과학 관련 논쟁에서 비롯됩니다. 그의 견해는 인지의 많은 주요 특징이 선천적이라고 주장하는 심리학 분야의 잘 알려진 "자연주의자" 사상 학파와 일치합니다. 실제로 우리는 대부분 세상이 어떻게 작동하는지 알고 태어납니다.

이 타고난 인식의 핵심은 상징을 조작하는 능력입니다 (그러나 이것이 자연 전반에 걸쳐 발견되는지 아니면 인간에게 고유한 것인지는 아직 결론이 나지 않았습니다). Marcus의 경우 기호를 조작하는 이러한 능력은 규칙 따르기, 추상화, 인과 추론, 세부 사항의 재식별, 일반화 및 기타 여러 능력 등 상식의 많은 기본 기능의 기초가 됩니다.

요컨대, 세상에 대한 우리의 이해의 대부분은 자연에서 주어지며 학습은 세부 사항을 풍부하게 하는 것입니다.

위의 생각을 깨는 또 다른 경험적 견해가 있습니다. 기호 조작은 자연에서 드물며 주로 고대 인류 조상이 지난 200만 년에 걸쳐 점차적으로 습득한 학습된 의사소통 능력입니다.

이 관점에서 주요 인지 능력은 먹이를 빠르게 식별하고, 예상되는 행동을 예측하고, 숙련된 반응을 개발하는 등 생존 능력 향상과 관련된 비상징적 학습 능력입니다.

이 견해는 대부분의 복잡한 인지 능력이 일반적인 자기 지도 학습 능력을 통해 획득된다는 견해입니다. 또한 우리의 복잡한 인지 능력의 대부분은 상징적 조작에 의존하지 않는다고 가정합니다. 대신 다양한 시나리오를 시뮬레이션하고 최상의 결과를 예측합니다.

이 경험적 관점은 기호와 기호 조작을 인간이 성공하기 위해 협력적인 행동에 점점 더 의존함에 따라 획득되는 또 다른 학습 능력으로 간주합니다. 이는 상징을 단어뿐만 아니라 지도, 상징적 설명, 의식, 심지어 사회적 역할과 같은 그룹 간의 협력을 조정하는 데 사용하는 발명품으로 간주합니다.

이 두 가지 견해의 차이는 매우 분명합니다. 자연주의 전통에 따르면 기호와 기호 조작은 본질적으로 마음에 존재하며 단어와 숫자의 사용은 이러한 원시적 능력에서 파생됩니다. 이 견해는 진화적 적응에서 발생하는 능력을 매력적으로 설명합니다(기호 조작이 어떻게, 왜 진화했는지에 대한 설명은 논란의 여지가 있지만).

경험주의 전통의 관점에서 볼 때 상징과 상징적 추론은 일반적인 학습 능력과 복잡한 사회 세계에서 발생하는 유용한 의사소통의 발명품입니다. 이는 내부 계산, 내부 독백과 같이 우리 머리에서 일어나는 상징적 일을 수학과 언어 사용에서 발생하는 외부 관행으로 취급합니다.

인공지능과 인지과학 분야는 밀접하게 얽혀 있기 때문에 이러한 싸움이 여기서 다시 나타나는 것은 놀라운 일이 아닙니다. 인공 지능에 대한 두 관점 중 어느 쪽이든 성공하면 부분적으로(그러나 부분적으로만) 인지 과학의 하나 또는 다른 접근 방식이 입증될 것이기 때문에 이러한 논쟁이 치열해진 것은 놀라운 일이 아닙니다.

문제의 핵심은 현대 인공지능 분야의 문제를 어떻게 올바르게 해결할 것인가뿐만 아니라, 지능이란 무엇이며 뇌는 어떻게 작동하는가이다.

AI에 베팅해야 할까요, 아니면 공매도해야 할까요?

"딥 러닝이 벽에 부딪힌다"는 말이 왜 그렇게 도발적인가요?

Marcus가 옳다면 딥 러닝은 아무리 많은 새로운 아키텍처를 생각해내거나 얼마나 많은 컴퓨팅 성능을 투입하더라도 결코 인간과 같은 AI를 달성할 수 없을 것입니다.

진짜 기호 조작에는 자연스러운 기호 조작자가 필요하기 때문에 신경망에 더 많은 레이어를 계속 추가하면 상황이 더욱 혼란스러워질 뿐입니다. 이 기호 연산은 여러 상식 능력의 기초이므로 DL은 아무것도 "이해하지 못합니다".

대조적으로, DL의 옹호자들과 경험주의자들이 옳다면 혼란스러운 것은 상징적 조작을 위한 모듈을 삽입한다는 생각입니다.

이러한 맥락에서 딥 러닝 시스템은 이미 상징적 추론을 수행하고 있으며 더 많은 다중 모드 자기 지도 학습, 점점 더 유용한 예측 세계 모델을 사용하고 결과를 시뮬레이션 및 평가하기 위해 계속해서 개선될 것입니다. 제약.

기호 조작 모듈을 도입한다고 해서 더 인간과 유사한 AI가 생성되는 것은 아닙니다. 오히려 모든 "추론" 작업이 불필요한 병목 현상을 겪게 되어 "인간과 같은 지능"에서 더 멀어지게 됩니다. 이는 딥 러닝의 가장 흥미로운 측면 중 하나, 즉 인간보다 나은 솔루션을 찾아내는 능력을 차단할 수 있습니다.

그래도 이 중 어느 것도 어리석은 과장을 정당화할 수 없습니다. 현재 시스템은 의식이 없고 우리를 이해할 수 없으며 강화 학습으로는 충분하지 않으며 단지 확장만으로는 인간과 같은 지능을 구축할 수 없습니다. 그러나 이러한 모든 질문은 주요 논쟁의 주변 문제입니다. 기호 연산을 하드코딩해야 합니까? 아니면 학습할 수 있습니까?

이것은 하이브리드 모델(즉, 미분 불가능한 기호 조작자가 있는 모델) 작업을 중단하라는 요청입니까? 당연히 아니지. 사람들은 효과가 있는 것을 선택해야 합니다.

그러나 연구자들은 1980년대부터 하이브리드 모델을 연구해 왔지만 효과적인 접근 방식으로 입증되지 않았으며 많은 경우 신경망보다 훨씬 열등할 가능성이 높습니다.

더 일반적으로 말하면 딥러닝이 한계에 도달했는지 궁금해해야 합니다.

위 내용은 딥러닝이 벽에 부딪히나요? 누가 르쿤과 마커스 사이에 말벌집을 휘저었나요?의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!