Marcus는 LeCun을 비판하는 기사를 게시했습니다. 딥러닝만으로는 인간과 같은 지능을 달성할 수 없습니다.

올해 3월, 게리 마커스(Gary Marcus)는 '딥러닝이 벽에 부딪혔다'는 아이디어를 제안해 인공지능 학계에 파문을 일으켰다.

당시에는 딥러닝 3대 거물도 가만히 있을 수 없었습니다. 먼저, 제프리 힌튼(Geoffrey Hinton)은 팟캐스트에서 이 견해를 반박했습니다.

지난 6월 Yann LeCun은 이에 대한 답변으로 글을 썼고, 일시적인 어려움을 벽에 부딪힌 것으로 여기지 말라고 지적했습니다.

이제 Marcus는 미국 NOEMA 매거진에 "딥 러닝만으로는 인간과 같은 AI를 얻을 수 없습니다"라는 제목의 기사를 게재했습니다.

마찬가지로 그는 여전히 자신의 견해를 바꾸지 않았습니다. 딥 러닝만으로는 인간과 같은 지능을 얻을 수 없습니다.

현재 인공지능 연구가 주로 딥러닝에 초점을 맞추고 있다고 제안했는데, 이제 이를 재고해볼 시점이 되었습니다.

지난 70년 동안 인공지능 분야에서 가장 근본적인 논쟁은 인공지능 시스템이 "기호 연산"을 기반으로 구축해야 하는지, 아니면 뇌와 같은 "신경망" 시스템을 기반으로 구축해야 하는지에 대한 것입니다.

사실 여기에 세 번째 가능성이 있습니다. 하이브리드 모델 - 신경망의 딥 러닝과 기호 연산의 강력한 추상화 기능을 결합합니다.

NOEMA 매거진에 게재된 LeCun의 최근 기사 "AI가 지능에 관해 우리에게 말할 수 있는 것"에서도 이 문제가 논의되었지만 Marcus는 그의 기사가 분명해 보이지만 명백한 결함이 있다고 지적했습니다. 미래.

기사 초반에는 하이브리드 모델을 거부하지만, 하이브리드 모델의 존재를 인정하고 앞으로 가능한 방향으로 언급하며 글을 마무리합니다.

신경망과 기호 연산의 하이브리드 모델

Marcus는 LeCun과 Browning의 요점은 "모델이 기호 연산을 학습하면 하이브리드가 아니다"라고 지적했습니다.

하지만 머신러닝의 문제는 개발의 문제입니다(시스템은 어떻게 탄생했나요?)

그리고 일단 개발된 시스템이 어떻게 작동하는지는 계산의 문제입니다(예: 메커니즘인가 아닌가? 두 메커니즘?) 즉, "기호와 신경망을 모두 활용하는 모든 시스템은 하이브리드 모델입니다."

아마도 그들이 정말로 말하고 싶은 것은 인공지능이 타고난 하이브리드가 아니라 학습된 하이브리드일 가능성이 높다는 것입니다. 그러나 학습의 하이브리드는 여전히 하이브리드입니다.

그리고 마커스의 관점은 “기호 연산 자체가 타고난 것이거나, 상징 연산의 출현에 간접적으로 기여하는 또 다른 타고난 것이 있다”는 것입니다.

그래서 우리의 연구 초점은 상징적 조작을 간접적으로 촉진하는 이 매체를 어떻게 발견하는가에 맞춰져야 합니다.

어떤 매체를 통해 시스템이 상징적 추상화를 배울 수 있는 지점에 도달할 수 있는지 알아낼 수 있다면 세상의 모든 지식을 활용하는 시스템을 구축할 수 있다는 가설이 있습니다.

다음으로 Marcus는 고전을 인용하고 인공 지능 분야의 상징 조작 및 신경망에 대한 논쟁의 역사를 정리했습니다.

마빈 민스키(Marvin Minsky), 존 매카시(John McCarthy)와 같은 초기 인공 지능 선구자들은 상징적 조작만이 앞으로 나아갈 수 있는 유일한 합리적인 방법이라고 믿었습니다.

그리고 신경망의 선구자인 Frank Rosenblatt는 신경 노드가 중첩되고 디지털 입력을 처리하는 구조를 기반으로 AI가 더 나은 성능을 발휘할 수 있다고 믿습니다.

사실 이 두 가지 가능성은 상호 배타적이지 않습니다.

AI가 사용하는 신경망은 문자 그대로의 생물학적 신경망이 아닙니다. 반대로 인간 두뇌의 일부 특성을 가지지만 복잡성이 거의 없는 단순화된 디지털 모델입니다.

원칙적으로 이러한 추상 기호는 다양한 방식으로 연결될 수 있으며, 그 중 일부는 논리 및 기호 연산을 직접 구현할 수 있습니다.

Warren S. McCulloch와 Walter Pitts는 1943년에 A Logical Calculus of the Ideas Inmanent in Nervous Activity를 출판하여 이러한 가능성을 명시적으로 인식했습니다.

1950년대 Frank Rosenblatt, 1980년대 David Rumelhart 및 Jay McClelland를 포함한 다른 사람들은 기호 조작의 대안으로 신경망을 제안했습니다. Geoffrey Hinton도 일반적으로 이 입장을 지지합니다.

그러자 마커스는 르쿤, 힌튼, 요슈아 벤지오 등 튜링상 수상자들에게 차례차례 신호를 보냈습니다.

내가 무슨 말을 해도 상관없다고 다른 덩치들이 그렇게 말하더군요!

2015년 LeCun, Bengio 및 Hinton은 Nature의 딥 러닝에 관한 선언문 스타일의 논문을 썼습니다.

이 기사는 "대형 벡터에 대한 연산을 통해 규칙 기반 기호 표현 연산을 대체하려면 새로운 패러다임이 필요하다"고 주장하는 기호에 대한 공격으로 끝납니다. ㅋㅋㅋ 과학의.

1980년대에 그의 전 공동 작업자인 Rumelhart와 McClelland가 비슷한 주장을 했는데, 그들은 1986년의 유명한 책에서 기호는 "인간 계산의 본질"이 아니라고 주장했습니다. 이는 큰 논쟁을 불러일으켰습니다.

Marcus는 2018년 상징 조작을 옹호하는 기사를 썼을 때 LeCun이 하이브리드 AI에 대한 자신의 주장을 설명 없이 트위터에서 "대체로 잘못된 의견"이라고 일축했다고 말했습니다.

그리고 딥러닝 분야의 유명 전문가 두 명도 하이브리드 AI에 대한 지지를 표명했다고 하더군요.

앤드류 응(Andrew Ng)은 지난 3월 이러한 시스템에 대한 지지를 표명했습니다. 시퀀스 학습을 위한 선도적인 딥 러닝 아키텍처 중 하나인 LSTM의 공동 창시자인 Sepp Hochreiter도 같은 작업을 수행했으며 지난 4월 가장 유망한 광범위한 AI 접근 방식은 신경 기호 AI라고 공개적으로 밝혔습니다.

LeCun과 Browning의 새로운 관점에서는 Marcus와 Steven Pinker가 1988년부터 제안한 것처럼 상징적 조작이 실제로 중요합니다.

Marcus는 따라서 Lecun을 비난했습니다. "나는 수십 년 전에 당신의 관점을 제안했고 당신의 연구는 수십 년 전으로 거슬러 올라갑니다."

저뿐만 아니라 다른 덩치 큰 남자들도 그렇게 생각해요.

르쿤과 브라우닝의 나머지 글은 대략 세 부분으로 나눌 수 있습니다:

1. 내 입장의 오해 2. 하이브리드 모델의 범위를 좁히려는 노력 3. 상징적 조작이 학습될 수는 없습니다. 타고난 이유.

다음으로 Marcus는 LeCun의 논문에서 그 요점을 반박했습니다:

LeCun과 Browning은 "Marcus는 처음에 기호 연산이 없으면 결코 가질 수 없다고 말했습니다."

그리고 사실 저는 2001년 저서 "대수적 사고"에서 기호 연산이 타고난 것인지 확실하지 않다는 점을 명시적으로 인정했습니다.

그들은 "딥 러닝은 더 이상 진전을 이룰 수 없다"는 나의 주장을 비판했지만, 제가 실제로 요점은 DL이 어떤 문제에 대해서도 진전을 이루지 못할 것이라는 것이 아니라 딥 러닝 자체가 구성성, 추론, 등 일부 작업에는 잘못된 도구가 있습니다.

마찬가지로 그들은 상징적 추론이 시스템에 존재하거나 존재하지 않거나(1 또는 0) 있다고 말하면서 나를 비방했습니다.

이건 말도 안되는 소리입니다.

DALL-E가 추론을 위해 기호를 사용하지 않는 것은 사실이지만, 이것이 상징적 추론을 포함하는 시스템이 존재하거나 존재하지 않아야 한다는 의미는 아닙니다.

적어도 1970년대 MYCIN 시스템 초기에는 다양한 정량적 추론을 위한 순전히 상징적인 시스템이 있었습니다.

기호 조작은 선천적입니다

기호 조작 능력은 처음부터 익히는 것이 아니라 학습할 수 있나요?

답은 '예'입니다.

Marcus는 이전 실험에서 기호를 조작하는 능력이 선천적이라고 보장할 수는 없지만 이 관점과 거의 구별할 수 없다고 말했습니다. 그들은 많은 양의 경험에 의존하는 학습 이론에 도전을 제기합니다.

다음 2가지 주요 주장을 제시합니다.

1. Learnability

2001년에 출판된 The Algebraic Mind라는 책에서 Marcus는 일부 시스템이 가능하다는 것을 입증했습니다. 의 기호 연산을 학습합니다.

몇 가지 출발점이 내장된 시스템은 순수한 백지 상태보다 세상을 이해하는 데 더 효과적입니다.

사실 LeCun의 가장 유명한 작품인 On Convolutional Neural Networks도 좋은 예입니다. 신경망 학습 방식에 대한 내장된 제약이 있어 효율성이 크게 향상됩니다. 기호 연산이 잘 통합되면 더 큰 이득을 얻을 수 있습니다.

2. 인간 유아는 상징적 조작 능력을 보여줍니다.

자주 인용되는 일련의 규칙 학습 실험에서 유아는 구체적인 예를 넘어 훈련받은 패턴을 추상 패턴으로 일반화했습니다. 인간 유아의 암묵적 논리적 추론 능력에 대한 후속 연구는 이 점을 더욱 입증했습니다.

또한 연구에 따르면 꿀벌은 예를 들어 이전에 본 적이 없는 조명 조건에 대해 태양 방위각 기능을 일반화할 수 있습니다.

LeCun의 관점에서 기호를 배우는 것은 나중에 습득하는 것과 같습니다. 젊은 사람들에게는 더 정확하고 전문적인 기술이 필요하기 때문입니다.

어리석은 점은 LeCun이 기호 연산의 본질적인 특성에 반대한 후 기호 연산이 학습된다는 것을 증명할 강력한 증거를 제공하지 않았다는 것입니다.

아기 염소가 태어나자마자 언덕을 기어다닐 수 있다면 왜 초기 신경망에는 약간의 상징적 조작을 통합할 수 없나요?

동시에 LeCun과 Browning은 상징 조작의 본질적인 메커니즘이 부족하여 언어 이해 및 추론에서 잘 알려진 특정 문제를 해결하는 방법을 지정하지 않았습니다.

그들은 단지 약한 일반화를 제공할 뿐입니다. 딥 러닝이 1에서 N까지의 문제를 극복했기 때문에 우리는 딥 러닝이 N+1 문제를 극복할 수 있다고 확신해야 합니다.

사람들은 딥러닝이 한계에 도달했는지 궁금해해야 합니다. 최근 DALL-E 2, Gato 및 PaLM에서 볼 수 있는 미션의 지속적인 점진적인 개선을 고려할 때 순간적인 어려움을 "벽"으로 착각하지 않는 것이 현명한 것 같습니다. 딥러닝의 불가피한 실패는 이전부터 예견됐지만 베팅할 가치는 없습니다.

낙관도 중요하지만 현실을 분명히 보아야 합니다.

원칙적으로 딥 러닝은 주로 구성성, 체계화 및 언어 이해 측면에서 일반화 및 "분산 전송"을 중심으로 하는 몇 가지 구체적인 과제에 직면해 있습니다.

이제 모두는 분산 마이그레이션이 현재 신경망의 아킬레스건이라는 것을 알고 있습니다. 물론 딥러닝은 발전을 이루었지만 이러한 기본적인 문제들에 대해서는 별로 진전이 이루어지지 않았습니다.

Marcus의 관점에서 기호 연산이 선천적일 수 있는 상황은 과거와 거의 동일합니다.

1. "대수적 사고"가 출현한 지 20년이 지난 현재 시스템 , 대규모 데이터 세트와 훈련에도 불구하고 기호 연산(예: 곱셈)을 안정적으로 추출하는 것은 여전히 ​​불가능합니다.

2. 인간 유아의 예는 정규 교육을 받기 전에 자연어와 추론의 복잡한 측면을 일반화하는 능력이 있음을 보여줍니다. 3. 약간의 내면적 상징적 의미는 학습 효율성을 크게 향상시킬 수 있습니다. AlphaFold 2의 강력한 기능 중 일부는 신중하게 구성된 분자생물학의 고유한 표현에서 비롯됩니다.

간단히 말하면 세상은 크게 세 가지로 나눌 수 있습니다.

하나는 기호 조작 장비가 공장에 완전히 설치된 시스템입니다.

두 번째는 선천적 학습 장치를 갖춘 시스템은 상징적 연산이 부족하지만 올바른 데이터와 훈련 환경이 있으면 이를 얻을 수 있는 능력이 충분하다는 것입니다.

세 번째는 충분한 훈련을 통해서도 완전한 기호 조작 메커니즘을 얻을 수 없는 시스템입니다.

현재 딥 러닝 시스템은 세 번째 범주에 속하는 것 같습니다. 처음에는 기호 조작 메커니즘이 없고 프로세스에서도 신뢰할 수 있는 기호 조작 메커니즘이 없습니다.

현재는 기호 연산의 기원을 이해하는 것이 최우선 과제입니다. 신경망을 가장 열렬히 지지하는 사람들조차도 이제 AI를 달성하는 데 있어 상징적 연산의 중요성을 인식하고 있습니다.

이것이 바로 신경 기호학 커뮤니티가 초점을 맞춰온 것입니다. 더 강력한 단일 지능 내에서 데이터 기반 학습과 상징적 표현이 조화롭게 작동하도록 만드는 방법은 무엇입니까?

위 내용은 Marcus는 LeCun을 비판하는 기사를 게시했습니다. 딥러닝만으로는 인간과 같은 지능을 달성할 수 없습니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!