대형 모델의 압도적인 등장 이후, 컴퓨터 과학은 마침내 '자연과학'이 되었습니다.

​현재의 인공지능(AI)은 경이로운 시대에 들어서면서 놀라운 암묵적 지식이 자주 등장하지만(폴라니의 복수와 인공지능의 새로운 로맨스와 암묵적 지식, https://bit.ly/3qYrAOY) 컴퓨터가 앞으로 오랫동안 이 작업을 완료할 수 없다는 것은 확실합니다. 최근에 등장한 흥미로운 연구는 대규모 네트워크 규모의 다중 모달 말뭉치와 수십억 개의 훈련 매개변수를 기반으로 하는 Transformer 아키텍처를 기반으로 하는 대규모 학습 시스템에 관한 것입니다. 일반적인 예로는 임의의 텍스트 프롬프트에 응답하는 대규모 언어 모델, GPT3 및 PALM, 텍스트를 이미지로 변환하는 언어/이미지 모델 DALL-E 및 Imagen(GATO와 같은 일반적인 동작을 갖는 모델도 포함)이 있습니다.

대규모 학습 모델의 등장은 인공지능 연구의 성격을 근본적으로 변화시켰습니다. 연구자들은 최근 DALL-E를 사용했을 때 인간이 그것을 마스터할 수 있다면 DALL-E와 더 잘 상호 작용할 수 있을 것 같은 고유한 언어를 개발한 것 같다고 믿었습니다. 일부 연구자들은 또한 프롬프트에 특정 마법 주문(예: "단계적으로 생각해보자")을 추가하면 추론 문제에 대한 GPT3의 성능이 향상될 수 있음을 발견했습니다. 이제 GPT3 및 DALL-E와 같은 대규모 학습 모델은 "외계종"과 같으며 우리는 그들의 행동을 해독하려고 노력해야 합니다.

이것은 확실히 인공지능의 이상한 전환점입니다. 인공지능은 등장 이후 공학(특정 기능을 가진 시스템)과 과학(자연 현상의 법칙 발견) 사이에서 '무인의 땅'이 되어왔다. AI의 과학적 부분은 인간 지능의 본질에 대한 통찰력이라는 원래 주장에서 비롯된 반면, 엔지니어링 부분은 인간 지능에 대한 통찰력보다는 지능적 기능(컴퓨터가 지능적인 행동을 나타내도록 허용)에 중점을 두는 데서 비롯됩니다.

그리고 현재 상황은 빠르게 변화하고 있으며, 특히 인공지능은 대규모 학습 모델의 대명사가 되었습니다. 현재 현상 유지는 훈련된 모델이 어떻게 특정 기능을 갖췄는지 또는 심지어 다른 기능(예: PALM의 "농담 설명" 기능)을 가질 수 있는지 아는 사람이 아무도 없다는 것입니다. 심지어 제작자조차도 이러한 시스템이 무엇을 할 수 있는지 모르는 경우가 많습니다. 이러한 시스템의 "기능적" 범위를 이해하기 위해 이러한 시스템을 탐색하는 것이 인공 지능 연구의 최근 추세가 되었습니다.

인공지능의 일부 부분이 공학적 뿌리에서 벗어나고 있다는 사실이 점점 더 분명해지고 있습니다. 오늘날 대규모 학습 시스템을 전통적인 의미에서 특정 목표를 가진 엔지니어링 설계로 생각하는 것은 어렵습니다. 결국, 자신의 자녀가 '설계'되었다고 말할 수는 없습니다. 엔지니어링 분야에서는 일반적으로 자신이 설계하는 시스템의 예상치 못한 새로운 특성을 축하하지 않습니다(마치 토목 기술자가 카테고리 5 허리케인을 견딜 수 있도록 설계한 다리가 공중에 떠 있는 것이 발견되었을 때 흥분하여 축하하지 않는 것처럼).

이러한 대규모 훈련된(설계되지 않은) 시스템에 대한 연구가 자연 과학이 될 것이라는 증거가 늘어나고 있습니다. 시스템의 기능을 관찰하고 모범 사례에 대한 정성적 분석을 수행합니다.

현재 연구가 내부보다 겉모습에 초점을 맞추고 있다는 점을 고려하면, 이는 생물학에서 실제 증거 없이 '그것을 알아낸다'는 원대한 목표와 비슷하다. 머신 러닝은 시스템이 그렇게 하도록 설계되었음을 증명하기보다는 시스템이 왜 그런 일을 하는지(대규모 학습 시스템에 대한 "MRI" 연구를 생각해 보세요)에 더 초점을 맞추는 연구 노력입니다. 이러한 연구에서 얻은 지식은 의학에서와 마찬가지로 시스템을 미세 조정하는 능력을 향상시킬 수 있습니다. 물론 표면 설정에 대한 연구는 내부 설정보다 더 표적화된 개입을 허용합니다.

인공지능이 거의 모든 컴퓨팅 분야에 큰 영향을 미칠 것이라는 점을 고려하면 인공지능은 자연과학이 되고 컴퓨터 과학 전체에도 영향을 미칠 것입니다. 컴퓨터 과학에서 "과학"이라는 단어도 의문을 제기하고 조롱을 받았습니다. 하지만 이제는 인공지능이 대규모 인공학습 시스템을 연구하는 자연과학이 되면서 상황이 달라졌다. 물론, 이러한 전환에 대해 많은 저항과 의견이 있을 수 있습니다. 왜냐하면 컴퓨터 과학은 오랫동안 "구성에 의한 교정"의 성배였기 때문입니다. 컴퓨터 과학은 처음부터 인센티브가 가득한 시스템에 사는 것과 같았습니다. 사람처럼 잘 훈련된 개처럼 정확합니다.

2003년에 Turing Award 수상자 Leslie Lamport는 컴퓨터 과학이 우리를 동종요법과 신앙 치유의 세계에서 살 수 있게 해줄 것이라고 말하면서 컴퓨팅의 미래가 논리보다는 생물학이 될 가능성에 대해 경종을 울렸습니다. 당시 그의 불안은 오늘날의 더 신비스러운 대규모 학습 모델보다는 주로 인간이 프로그래밍한 복잡한 소프트웨어 시스템에 대한 것이었습니다.

의도적 설계 및 "시공을 통한 올바른 처리"와 주로 관련된 분야에서 기존(설계되지 않은) 인공물을 탐색하거나 이해하려는 분야로 이동할 때, 그것이 가져올 방법론적 변화는 생각해 볼 가치가 있습니다. 생물학의 야생생물 연구와 달리 인공지능은 '디자인 감각'이 결여된 인간이 만든 인공물을 연구한다. 대규모 학습 모델은 정확성, 투명성 또는 공정성과 관련하여 입증 가능한 기능을 지원한다고 보장할 수 없지만 이는 이러한 시스템을 배포하고 실행하는 데 중요한 문제입니다. 인간 역시 자신의 결정과 행동의 정확성에 대한 증거를 제공할 수 없지만, 인간에게 벌금, 책벌, 심지어 투옥과 같은 처벌을 가하는 법적 시스템이 존재합니다. 대규모 학습 시스템의 경우 동등한 시스템은 무엇입니까?

컴퓨팅 연구의 미학도 바뀔 것입니다. 현재 연구자들은 정리와 정의를 포함하는 비율에 따라 논문을 평가할 수 있습니다. 그러나 컴퓨터 과학의 목표가 생물학 등 자연 과학의 목표와 점점 더 유사해짐에 따라 새로운 계산 미학적 방법론을 개발할 필요가 있습니다(제로 정리는 제로 정의 비율과 크게 다르지 않기 때문입니다). 계산 복잡도 분석이 AI 연구에서 뒷자리를 차지하고 있다는 징후가 있습니다.

위 내용은 대형 모델의 압도적인 등장 이후, 컴퓨터 과학은 마침내 '자연과학'이 되었습니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!