인공지능에서도 큰 일이 일어나고 있고, 르쿤도 변신했다

기호 처리는 사고를 대수 연산으로 취급하는 논리, 수학, 컴퓨터 과학의 일반적인 프로세스입니다. 거의 70년 동안 인공지능 분야에서 가장 근본적인 논쟁은 인공지능 시스템이 기호 처리에 기반해야 하는지, 아니면 인간의 두뇌와 유사한 신경 시스템에 기반해야 하는지였습니다.

실제로 중간 지점으로서 세 번째 가능성인 하이브리드 모델이 있습니다. 하이브리드 모델은 신경망의 데이터 기반 학습과 기호 처리의 강력한 추상화 기능을 결합하여 두 세계의 장점을 최대한 활용하려고 시도합니다. 이곳은 제가 대부분의 경력을 쌓은 곳이기도 합니다.

최근 NOEMA 매거진에 게재된 기사에는 Turing Award 수상자이자 Meta의 수석 인공지능 과학자인 Yann LeCun과 LeCun Lab의 '상주 철학자'인 Jacob Browning도 이 논란에 참여했습니다. 그 기사는 새로운 대안을 제시하는 것처럼 보이지만 자세히 살펴보면 그 아이디어가 새롭지도 설득력도 없다는 것을 알 수 있습니다.

Yann LeCun과 Jacob Browning은 NOEMA 매거진에 게재된 기사에서 처음으로 "딥 러닝이 벽에 부딪혔다"는 견해에 대해 공식적으로 답변했습니다. 넘을 수 없는 문제에 부딪혔지만 매번 일시적인 장애물에 불과했습니다.”

글 초반에는 딥러닝과 신경망을 결합한 시스템으로 흔히 정의되는 하이브리드 모델에 반대하는 것처럼 보였습니다. 네트워크와 기호 처리. 그러나 결국 LeCun은 하이브리드 시스템이 존재한다는 점, 즉 하이브리드 시스템이 중요하고 앞으로 나아갈 수 있는 방법이며 우리가 항상 이것을 알고 있다는 점을 여러 단어로 인정했습니다. 기사 자체가 모순적이네요.

이 모순이 발생하는 이유에 대해 제가 생각할 수 있는 유일한 이유는 LeCun과 Browning이 어떻게 든 기호 처리를 학습하는 모델이 하이브리드 모델이 아니라고 믿고 있다는 것입니다. 그러나 학습은 발전하는 문제(시스템은 어떻게 발생하는가?)이며, 개발된 시스템이 어떻게 기능하는지(하나 또는 두 개의 메커니즘으로)는 계산 문제입니다. 어떤 합리적인 조치를 취하더라도 기호 네트워크 메커니즘과 신경망 메커니즘을 모두 활용하는 시스템은 하이브리드 시스템입니다. . (아마도 그들이 의미하는 바는 AI가 타고난 하이브리드라기보다는 학습된 하이브리드에 더 가깝다는 것입니다. 그러나 학습된 하이브리드는 여전히 하이브리드입니다.)

2010년경, 2020년까지 딥러닝 지지자들은 기호 처리를 나쁜 단어로 간주했습니다. 기호 처리의 기원을 이해하는 것이 최우선 과제가 되었습니다.

나는 기호 처리가 타고난 것인지, 아니면 다른 것이 기호 처리 습득에 간접적으로 기여한다고 생각합니다. 시스템이 상징적 추상화를 학습할 수 있는 기반이 무엇인지 빨리 파악할수록 세상의 모든 지식을 적절하게 활용하는 시스템을 더 빨리 구축할 수 있으며 시스템은 더 빨리 안전하고 신뢰할 수 있으며 설명 가능해질 것입니다.

그러나 먼저 우리는 인공 지능 개발 역사에서 이 중요한 논쟁의 내용을 이해해야 합니다.

초기 AI 개척자인 Marvin Minsky와 John McCarthy는 기호 처리가 앞으로 나아갈 유일한 합리적인 방법이라고 믿었고, 신경망 개척자인 Frank Rosenblatt는 구조적으로 데이터를 처리할 수 있는 뉴런과 같은 "노드" 모음을 기반으로 AI가 더 잘 구축될 것이라고 믿었습니다. 무거운 통계 작업을 수행합니다.

이 두 가지 가능성은 상호 배타적이지 않습니다. 인공지능에 사용되는 '신경망'은 말 그대로 생물학적 뉴런망이 아니다. 대신, 실제 생물학적 뇌와 일부 유사하지만 복잡성이 최소화된 단순화된 디지털 모델입니다. 원칙적으로 이러한 추상 뉴런은 다양한 방식으로 연결될 수 있으며, 그 중 일부는 논리적이고 상징적인 처리를 직접적으로 가능하게 할 수 있습니다. 이 가능성은 해당 분야의 초기 논문 중 하나인 A Logical Calculus of the Ideas Inmanent in Nervous Activity에서 1943년에 명시적으로 인정되었습니다.

1950년대 Frank Rosenblatt, 1980년대 David Rumelhart 및 Jay McClelland는 기호 처리의 대안으로 신경망을 제안했으며 일반적으로 Geoffrey Hinton은 이러한 입장을 지지했습니다.

여기서 거의 알려지지 않은 역사는 2010년대 초반 LeCun, Hinton 및 Yoshua Bengio가 마침내 실용화되고 있는 이러한 다층 신경망에 너무 열광하여 기호 처리를 완전히 없애고 싶어했다는 것입니다. 2015년까지 딥러닝은 여전히 ​​평온하고 열정적인 시대였으며 LeCun, Bengio, Hinton은 Nature에서 딥러닝에 대한 선언문을 썼습니다. 이 기사는 "기호 표현에 대한 규칙 기반 연산을 큰 벡터에 대한 연산으로 대체하려면 새로운 패러다임이 필요하다"고 주장하면서 기호에 대한 공격으로 끝납니다.

사실 Hinton은 기호 처리가 막다른 골목이라고 확신하여 같은 해 스탠포드 대학에서 "Aetherial Symbols"라는 강의를 했습니다. 이는 기호를 과학 역사상 가장 큰 실수 중 하나와 비교하는 것이었습니다.

마찬가지로 Hinton의 공동 작업자인 Rumelhart와 McClelland는 1980년대에 비슷한 주장을 펼쳤는데, 1986년 책에서 기호는 "인간 계산의 본질"이 아니라고 주장했습니다.

2018년에 기호 처리를 옹호하는 기사를 썼을 때 LeCun은 트위터에서 내 하이브리드 시스템 관점을 "대체로 잘못됐다"고 말했습니다. 당시 Hinton은 내 작업을 '가솔린 엔진'에 시간을 낭비하는 것과 '전기 엔진'이 앞으로 나아갈 수 있는 최선의 방법이라고 비유하기도 했습니다. 힌튼은 2020년 11월에도 “딥러닝이 모든 것을 할 수 있을 것”이라고 주장했다.

그래서 이제 LeCun과 Browning이 아이러니하지 않게 "딥 러닝 분야에서 일하는 모든 사람은 기호 처리가 인간과 같은 AI를 만드는 데 필요한 기능이라는 데 동의합니다"라고 썼을 때 그들은 수십 년간의 논쟁을 뒤집고 있는 것입니다. 스탠포드 대학의 인공 지능 교수인 크리스토퍼 매닝(Christopher Manning)이 말했듯이 "르쿤의 입장은 다소 바뀌었습니다."

분명히 10년 전의 방법은 더 이상 적용되지 않습니다.

2010년대에 기계 학습 커뮤니티의 많은 사람들은 (실제 증거 없이) "기호는 생물학적으로 믿기 어렵다"고 주장했습니다. 10년 후, LeCun은 타고난 것이든 학습된 것이든 상징적 처리를 포함하는 새로운 접근 방식을 고려하고 있었습니다. 기호 처리가 중요하다는 LeCun과 Browning의 새로운 견해는 딥 러닝 분야에 큰 양보를 나타냅니다.

인공지능 역사가들은 NOEMA 잡지 기사를 딥러닝 빅3 중 하나인 르쿤이 최초로 하이브리드 AI의 불가피성을 직접적으로 인정한 중요한 전환점으로 간주해야 합니다.

올해 초 딥 러닝 Big Three의 다른 두 구성원도 하이브리드 AI 시스템에 대한 지지를 표명했다는 점은 주목할 가치가 있습니다. 컴퓨터 과학자 Andrew Ng와 LSTM 공동 제작자 Sepp Hochreiter도 이러한 시스템에 대한 지지를 표명했습니다. 위르겐 슈미트후버(Jurgen Schmidhuber)가 이끄는 AI 회사인 NNAISANCE는 현재 기호 처리와 딥 러닝의 결합에 관한 연구를 진행하고 있습니다.

LeCun과 Browning의 나머지 기사는 대략 세 부분으로 나눌 수 있습니다.

• 내 입장의 잘못된 설명
• 하이브리드 모델의 범위를 좁히려는 노력
• 기호 처리가 학습되는 이유에 대한 논의; 타고난 게 아닌 것보다.

예를 들어 LeCun과 Browning은 다음과 같이 말합니다. "Marcus는 처음에 상징적 조작이 없으면 결코 갖지 못할 것이라고 믿습니다." 사실 저는 2001년 책에서 이를 분명히 했습니다. 대수학 정신": 기호 처리가 타고난 것인지 확실하지 않습니다.

그들은 또한 내가 딥러닝에서 "더 이상 진전이 없을 것"을 기대한다고 말했고, 내 실제 요점은 어떤 문제에 대해서도 더 이상 진전이 없을 것이라는 것이 아니라 딥러닝이 특정 작업(예: 조합 문제, 인과관계 문제) 그 자체가 문제를 추론하기 위한 잘못된 도구입니다.

그들은 또한 "DALL-E는 처리의 기초로 기호와 논리적 규칙을 사용하지 않고 실제로 기호를 사용하여 추론하지 않기 때문에 기호 추론은 모델에 있어 전부 아니면 전무"라고 생각한다고 말했습니다. 그런 말은 안 했어요. DALL·E는 기호를 사용하여 추론하지 않지만 이것이 기호 추론을 포함하는 모든 시스템이 전부 아니면 전무여야 한다는 의미는 아닙니다. 적어도 1970년대 초에는 MYCIN 전문가 시스템에는 모든 종류의 정량적 추론을 수행할 수 있는 순전히 상징적 시스템이 있었습니다.

"학습된 기호를 포함하는 모델은 하이브리드 모델이 아니다"라고 가정하는 것 외에도 하이브리드 모델을 "미분할 수 없는 기호 프로세서를 포함하는 모델"과 동일시하려고 합니다. 그들은 내가 하이브리드 모델을 "패턴 완성 딥러닝 모듈 위에 하드 코딩된 기호 처리 모듈을 삽입하는 두 가지의 단순한 조합"과 동일시한다고 생각합니다. 실제로 신경 기호 작업을 하는 모든 사람들은 깨닫습니다. 그 일이 그렇게 간단하지 않다는 걸요.

대신, 우리 모두 알고 있듯이 문제의 핵심은 하이브리드 시스템을 구축하는 올바른 방법입니다. 신경망에서 기호 규칙을 추출하고, 기호 규칙을 직접 신경망으로 변환하고, 신경망과 기호 시스템 간에 정보를 전달할 수 있는 중간 시스템을 구축하는 등의 기술에 중점을 두고 기호 네트워크와 신경 네트워크를 결합하기 위한 다양한 방법이 고려되었습니다. 신경망 자체를 재구성합니다. 많은 방법이 모색되고 있습니다.

마지막으로 가장 중요한 질문을 살펴보겠습니다. 처음부터 내장하지 않고도 기호 처리를 학습할 수 있습니까?

제 대답은 간단합니다. 물론이죠. 내가 아는 한, 상징적 처리가 학습될 수 있다는 사실을 부인하는 사람은 아무도 없습니다. 나는 2001년 대수적 사고의 섹션 6.1에서 이 질문에 답했고, 그럴 것 같지 않다고 생각했지만 그것이 절대적으로 불가능하다고 말하지는 않았습니다. 오히려 내 결론은: "이러한 실험과 이론은 확실히 기호 처리 능력이 타고난 것임을 보장하지는 않지만 이러한 견해에 부합합니다."

요약하면 내 관점은 다음 두 부분으로 구성됩니다.

첫 번째는 "학습 가능성" 관점입니다. 대수적 사고 전반에 걸쳐 특정 유형의 시스템(기본적으로 오늘날의 심층 시스템의 전신)이 기호 처리 측면을 학습하지 못했음을 보여줍니다. 따라서 어떤 시스템도 학습할 수 있다는 보장은 없습니다. 기호처리를 학습합니다. 내 책의 원래 단어는 다음과 같습니다.

어떤 것들은 타고난 것임에 틀림없습니다. 그러나 '본성'과 '양육' 사이에는 실제적인 갈등이 없습니다. 자연은 우리가 환경과 상호작용할 수 있는 일련의 메커니즘, 세상에서 지식을 추출하는 도구 세트, 이 지식을 활용하는 도구 세트를 제공합니다. 타고난 학습 도구가 없다면 우리는 전혀 배울 수 없을 것입니다.

발달 심리학자 Elizabeth Spelke는 다음과 같이 말한 적이 있습니다. "내 생각에는 어떤 기본 제공 출발점(객체, 세트, ​​기호 처리를 위한 장치 등)이 있는 시스템이 순수한 시스템보다 세상을 이해하는 데 더 효과적일 것이라고 생각합니다. 사실, LeCun의 컨볼루션 신경망에 관한 가장 유명한 연구는 이 점을 잘 보여줍니다.

두 번째 요점은 인간 유아가 상징적 처리 능력의 증거를 어느 정도 보여준다는 것입니다. 내 연구실에서 자주 인용되는 일련의 규칙 학습 실험에서 유아들은 훈련받은 구체적인 예를 넘어서 다양한 추상적 패턴을 일반화했습니다. 인간 유아의 암묵적 논리적 추론 능력에 대한 후속 연구를 통해 이 사실이 더욱 확증될 것입니다.

안타깝게도 르쿤과 브라우닝은 내 주장을 모두 완전히 피했습니다. 이상하게도 그들은 학습 상징을 "지도, 그림 표현, 의식, 심지어 사회적 역할까지"와 같은 나중에 획득한 것과 동일시합니다. 저와 다른 몇몇 인지 과학자들이 인지 과학에 관한 방대한 문헌에서 배웠다는 사실을 분명히 인식하지 못한 것 같습니다. 양이 태어나자마자 언덕을 기어올라갈 수 있다면 왜 갓 태어난 신경망은 약간의 상징적 처리를 통합할 수 없나요?

마지막으로 문제는 르쿤과 브라우닝이 왜 가는 걸까요? 그들은 타고난 것에 반대하는 강력한 원칙적 주장을 제시하지 않으며, 기호 처리가 학습되었다는 것을 증명할 어떤 원칙적인 근거도 제시하지 않습니다.

LeCun의 최신 연구에는 몇 가지가 포함되어 있습니다. "타고난" 기호 처리. 그가 최근 공개한 새로운 아키텍처는 전체적으로 6개의 모듈로 구성되어 있으며, 대부분은 조정 가능하지만 모두 내장되어 있습니다.

게다가 LeCun과 Browning은 언어 모델에는 타고난 기호 처리 메커니즘이 없기 때문에 언어 이해 및 추론에서 잘 알려진 특정 문제를 해결하는 방법을 지정하지 않습니다.

반대로 그들은 딥러닝의 역할을 설명하기 위해 귀납법의 원리를 사용합니다. "딥러닝이 1에서 N까지의 문제를 극복했으므로 우리는 N+1의 문제를 극복할 수 있다고 믿어야 합니다."

이 관점은 매우 약합니다. 사람들이 정말로 생각하고 질문해야 할 것은 딥 러닝의 한계입니다.

둘째, 딥 러닝이 이미 원칙적인 문제, 즉 조합성, 체계화 및 언어 이해 문제에 직면한 몇 가지 강력하고 구체적인 이유가 있습니다. 이러한 문제는 "일반화"와 "배포 이동"에 의존합니다. 이제 현장의 모든 사람들은 분포 변화가 현재 신경망의 아킬레스건이라는 것을 인식하고 있습니다. 이는 "대수적 사고"에 있어서 오늘날 딥러닝 시스템의 선구적인 관점이기도 합니다.

사실 딥 러닝은 지능형 기계를 만드는 과정의 일부일 뿐입니다. 이러한 기술에는 인과 관계(예: 질병과 증상 간의 관계)를 특성화하는 방법이 부족하며 추상적 개념을 포착하는 데 어려움이 있을 수 있습니다. 딥러닝은 뚜렷한 논리적 추론 방식이 없고 추상적인 지식을 통합하는 데도 아직 갈 길이 멀다.

물론 딥러닝은 많은 발전을 이루었고, 패턴 인식에도 뛰어나지만, 추론과 같은 일부 기본적인 문제에서는 충분한 진전을 이루지 못했고, 시스템은 여전히 ​​매우 불안정합니다.

Google이 개발한 새로운 모델 Minerva를 예로 들어보겠습니다. 학습 중에 수십억 개의 토큰이 있지만 4자리 숫자의 곱셈 문제를 해결하는 것은 여전히 ​​어렵습니다. 고등학교 수학 시험에서는 50%의 정확도를 달성했지만 "큰 개선"이라는 평가를 받았습니다. 따라서 딥러닝 분야에서는 추론과 추상화를 마스터하는 시스템을 구축하는 것이 여전히 어렵습니다. 현재 결론은 딥러닝에 문제가 있을 뿐만 아니라 딥러닝에도 "항상 문제가 있었다"는 것입니다.

내가 보기에 기호 처리 상황은 아마도 이전과 동일할 것 같습니다.

20년 동안의 "대수적 사고"의 영향으로 현재 시스템은 거대한 데이터 세트와 훈련에도 불구하고 여전히 기호 처리(예: 곱셈)를 안정적으로 추출할 수 없습니다. 인간 영유아의 예는 정규 교육 이전에 인간이 자연 언어와 추론(아마도 본질적으로 상징적)의 복잡한 개념을 일반화할 수 있음을 보여줍니다.

약간 내장된 상징은 학습 효율성을 크게 향상시킬 수 있습니다. LeCun의 컨볼루션(신경망 연결 방식에 대한 내장된 제약 조건)에 대한 성공은 이러한 상황을 잘 보여줍니다. AlphaFold 2의 성공의 일부는 신중하게 구성된 분자 생물학의 타고난 표현에서 비롯되었으며, 또 다른 부분은 모델의 역할에서 비롯되었습니다. DeepMind의 새로운 논문에 따르면 대상에 대한 타고난 지식에 대한 체계적인 추론을 구축하는 데 어느 정도 진전이 있었습니다.

그리고 LeCun과 Browning이 말한 어떤 것도 그것을 바꾸지 못했습니다.

한 걸음 물러서서 세상은 대략 세 부분으로 나눌 수 있습니다.

• 공장에 기호 처리 장비가 완전히 설치된 시스템(예: 거의 모든 알려진 프로그래밍 언어).
• 선천적 학습 장치를 갖춘 시스템은 기호 처리가 부족하지만 적절한 데이터와 훈련 환경이 있으면 기호 처리를 얻기에 충분합니다.
• 충분한 교육을 받더라도 완전한 기호 처리 메커니즘을 갖춘 시스템을 얻는 것은 불가능합니다.

현재 딥 러닝 시스템은 세 번째 범주에 속합니다. 처음에는 기호 처리 메커니즘이 없고 프로세스에서도 신뢰할 수 있는 기호 처리 메커니즘이 없습니다.

LeCun과 Browning은 스케일링이 더 많은 레이어와 데이터를 추가하는 데 효과적이지만 충분하지 않다는 점을 깨닫고 스케일링에 대한 나의 최근 주장에 동의하는 것 같습니다. 우리 셋 모두 새로운 아이디어가 필요하다는 점을 인정했습니다.

또한 거시적 수준에서 LeCun의 최근 주장은 여러 면에서 우리 둘 다 인식하고 추론하며 더 풍부한 세계 모델을 갖는 것의 중요성을 강조하는 나의 2020년 주장과 매우 ​​유사합니다. 우리 모두는 기호 처리가 중요한 역할을 한다는 데 동의합니다(다를 수도 있지만). 우리 모두는 현재 널리 사용되는 강화 학습 기술이 모든 요구 사항을 충족할 수 없으며 순수한 확장도 불가능하다는 데 동의합니다.

기호 처리의 가장 큰 차이점은 필요한 고유 구조의 양과 기존 지식을 활용하는 능력입니다. 기호 처리는 기존 지식을 최대한 활용하려는 반면, 딥 러닝은 시스템이 최대한 처음부터 시작하기를 원합니다.

2010년대에는 기호 처리가 딥 러닝 지지자들 사이에서 인기가 없는 용어였습니다. 2020년대에는 이 방법의 기원을 이해하는 것이 최우선 과제입니다. 신경망을 가장 열렬히 지지하는 사람들도 이미 기호 처리의 중요성을 인식하고 있습니다. AI 달성을 위한 상징적 처리. 신경기호 커뮤니티의 오랜 질문은 다음과 같습니다. 보다 강력한 단일 지능 내에서 데이터 기반 학습과 상징적 표현이 어떻게 조화롭게 작동할 수 있습니까? 흥미롭게도 LeCun은 마침내 그 목표를 향해 노력하기로 결심했습니다.

원본 링크: https://www.noemamag.com/deep-learning-alone-isnt-getting-us-to-human-like-ai/​

위 내용은 인공지능에서도 큰 일이 일어나고 있고, 르쿤도 변신했다의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!