ChatGPT의 진정한 영웅: OpenAI 수석 과학자 Ilya Sutskever의 믿음의 도약

ChatGPT의 등장이 많은 주목을 받았지만, 그 뒤에 숨은 알려지지 않은 천재성을 잊어서는 안 됩니다. Ilya Sutskever는 OpenAI의 공동 창립자이자 수석 과학자입니다. OpenAI가 최첨단 기술을 개발하고 인공지능 분야를 발전시키는 데 상당한 진전을 이룬 것은 그의 리더십 아래였습니다.

이 기사에서는 Sutskever가 어떻게 20년 만에 젊은 연구원에서 인공 지능 분야의 주요 인물 중 한 명이 되었는지 살펴보겠습니다. 당신이 AI 열성팬이든, 연구원이든, 아니면 단순히 이 분야의 내부 작동에 대해 궁금한 사람이든 간에 이 기사는 귀중한 관점과 정보를 제공할 것입니다.

이 기사는 다음 타임라인을 따릅니다.

2003: Ilya Sutskever의 견습 여정

2011: AGI에 대한 첫 소개

2012: 이미지 인식의 혁명

2013: Google에 대한 DNNresearch 경매

2014: 언어 번역의 혁명

2015: Google에서 OpenAI로: 인공 지능의 새로운 장

2018: GPT 1, 2, 3

2021: DALL-E 1 개발

2022: ChatGPT를 세계에 공개

Ilya Sutskever​

OpenAI의 공동 창립자이자 수석 과학자로, 2005년 토론토 대학교를 졸업하고 2012년 CS 박사 학위를 받았습니다. 2012년부터 현재까지 스탠포드대학교, DNNResearch, Google Brain에서 근무하며 머신러닝, 딥러닝 관련 연구를 진행했으며, 2015년에는 Google에서 고액 연봉직을 그만두고 Greg Brockman과 함께 OpenAI를 공동 창립했습니다. 등이 있으며, OpenAI GPT-1, 2, 3 및 DALLE 시리즈 모델 개발을 주도하고 있습니다. 2022년에는 왕립과학원 회원으로 선출되었습니다. 그는 인공 지능의 현재 환경을 형성하는 데 중요한 역할을 했으며 기계 학습으로 가능한 것의 경계를 계속 넓혀가는 인공 지능 분야의 선구자입니다. 인공 지능에 대한 그의 열정은 딥 러닝과 머신 러닝 분야의 발전을 형성한 그의 획기적인 연구에 영향을 미쳤습니다.

2003년: Ilya Sutskever의 첫인상

Sutskever: 이해가 안 돼요, Hinton: 왜 이해가 안 돼요, Sutskever: 사람들은 문제를 해결하기 위해 신경망을 훈련합니다. 다양한 문제를 해결하고 싶습니다. 때가 되면 다른 신경망으로 훈련을 다시 시작해야 합니다. 하지만 사람들은 모든 문제를 해결할 수 있는 신경망을 가져야 한다고 생각합니다.

Sutskever는 토론토 대학교 학부 시절 Geoffrey Hinton 교수의 딥 러닝 연구실에 합류하고 싶었습니다. 그래서 어느 날 그는 힌튼 교수의 연구실 문을 두드리며 연구실에 합류할 수 있는지 물었습니다. 교수님께서 미리 약속을 잡으라고 하셨는데 수츠케버는 더 이상 시간을 낭비하고 싶지 않아서 바로 "지금은 어때요?"라고 물었습니다. 힌튼은 수츠케버가 예리한 학생이라는 것을 알고서 약속을 해주었습니다. 그에게 읽어야 할 논문 두 개. 일주일 후 Sutskever는 교수실로 돌아와서 이해가 안 된다고 말했습니다.

"교수님이 왜 이해하지 못하시나요?"라고 물으셨어요.

Sutskever는 다음과 같이 설명했습니다.

“사람들은 문제를 해결하기 위해 신경망을 훈련하고, 다른 문제를 해결하려면 다른 신경망으로 다시 시작해야 합니다. 하지만 사람들은 모든 문제를 해결할 수 있는 신경망을 가져야 한다고 생각합니다. . Neural Networks. "

이 구절은 숙련된 연구자라도 찾는 데 수년이 걸릴 결론을 도출하는 Sutskever의 독특한 능력을 보여 주었고 Hinton은 그를 초대했습니다. 그가 그의 연구실에 합류하기를 바랍니다.

2011년: AGI에 대한 첫 소개

Sutskever: 이 아이디어(AGI)에 동의하지 않습니다

Sutskever는 토론토 대학에 있을 때 DeepMind에서 일자리를 찾기 위해 런던으로 날아갔습니다. 그곳에서 그는 AGI(Artificial General Intelligence)를 구축하고 있던 Demis Hassabis와 Shane Legg(DeepMind의 공동 창립자)를 만났습니다. AGI는 인간처럼 생각하고 추론할 수 있으며 자연어 이해, 경험을 통한 학습, 의사결정, 문제 해결 등 인간 지능과 관련된 다양한 작업을 수행할 수 있는 종합 인공지능이다.

당시 AGI는 진지한 연구자들이 이야기할 만한 주제가 아니었습니다. Sutskever는 또한 그들이 현실과의 접촉을 잃었다고 느꼈기 때문에 직장을 그만두고 대학으로 돌아가 결국 2013년에 Google에 합류했습니다.

2012년: 이미지 인식 혁명

ImageNet 경쟁에서 승리

Geoffrey Hinton은 독특한 안목을 갖고 있었고 다른 사람들은 딥 러닝을 믿지 않았습니다. 그리고 그는 ImageNet 경쟁에서의 성공이 이 논쟁을 완전히 해결할 것이라고 굳게 믿습니다.

ImageNet 대회: 스탠포드 대학교 연구실에서는 매년 ImageNet 대회를 개최합니다. 그들은 참가자들에게 세심하게 분류된 사진의 방대한 데이터베이스를 제공하고, 전 세계의 연구자들이 가장 많은 이미지를 인식할 수 있는 시스템을 만들기 위해 경쟁하게 됩니다.

이번 대회에는 Hinton의 두 학생 Ilya Sutskever와 Alex Krizhevsky가 참가했습니다. 그들은 전통적인 수동 설계 체계를 깨고 심층 신경망을 채택하여 75% 정확도를 돌파했습니다. 그래서 그들은 ImageNet 대회에서 우승했고 그들의 시스템은 나중에 AlexNet으로 명명되었습니다.

그 이후로 이미지 인식 분야는 새로운 모습을 보였습니다.

나중에 Sutskever, Krizhevsky 및 Hinton은 AlexNet에 논문을 발표했는데, 이 논문은 다른 연구자들이 총 60,000회 이상 인용하면서 컴퓨터 과학 분야에서 가장 많이 인용된 논문 중 하나가 되었습니다.

2013년: Google에 DNNresearch 경매

Sutskever & Krizhevsky: 귀하는 더 많은 배당금을 받을 자격이 있습니다. Hinton: 당신은 내 돈을 너무 많이 공유하고 있어요. Sutskever&Krizhevsky: 하지만 우리는 이미 당신에게 가장 큰 몫을 주기로 결정했습니다. Hinton: 그것은 그들의 성격을 말해줍니다.

Hinton은 Sutskever 및 Krizhevsky와 함께 DNNresearch라는 새로운 회사를 설립했습니다. 현재 제품이 없으며 앞으로도 제품을 만들 계획이 없습니다.

Hinton은 현재 직원이 3명뿐이고 제품도 없고 기반도 없는 새 회사의 가치를 극대화하는 방법을 변호사에게 물었습니다. 변호사가 그에게 준 옵션 중 하나는 경매를 시작하는 것이었습니다. 인수에는 Baidu, Google, Microsoft 및 DeepMind(당시 런던에 본사를 둔 젊은 스타트업) 등 4개 회사가 참여했습니다. 가장 먼저 퇴출된 회사는 DeepMind였고, 그 뒤를 Microsoft가 뒤따랐으며, 마지막으로 Baidu와 Google만이 경쟁을 벌였습니다.

어느 날 밤 자정이 가까워질 무렵 경매 가격은 4,400만 달러에 달해 힌튼은 입찰을 중단하고 잠에 들었습니다. 다음날 그는 경매가 끝났다고 발표하고 자신의 회사를 4,400만 달러에 Google에 매각했으며 연구에 적합한 집을 찾는 것이 더 중요하다고 판단했습니다. 이 시점에서 Hinton은 학생들과 마찬가지로 금전적 이익보다 자신의 아이디어를 우선시합니다.

수익금을 분할할 때가 되었을 때 Sutskever와 Krizhevsky는 Hinton이 잠을 좀 자도 좋다고 제안했음에도 불구하고 Hinton이 더 큰 지분(40%)을 받아야 한다고 주장했습니다. 다음날에도 그들은 여전히 ​​이 배포 방식을 고집했습니다. Hinton은 나중에 다음과 같이 말했습니다. "그것은 내가 아닌 사람으로서의 그들이 누구인지를 반영합니다."

이후 Sutskever는 Google Brain의 연구 과학자가 되었습니다. 그의 생각은 더욱 바뀌었고 점차 DeepMind 창립자의 생각과 일치하기 시작했습니다. 그는 AGI의 미래가 바로 눈앞에 있다고 믿기 시작했습니다. 물론 Sutskever 자신도 새로운 정보나 경험에 직면하여 마음을 바꾸는 것을 두려워한 적이 없습니다. 결국 AGI를 믿으려면 믿음의 도약이 필요합니다, Sergey Levine(Sutskever의 Google 동료)은 Sutskever에 대해 다음과 같이 말했습니다. “그는 '믿는 것'을 두려워하지 않는 사람입니다.”

2014: 언어 번역의 혁명

Sutskever: 올바른 결론은 매우 큰 데이터 세트와 매우 큰 신경망이 있다면 성공은 불가피하다는 것입니다. (가장 뛰어난 번역가)

Google은 DNN Research를 인수한 후 Sutskever를 Google Brain의 연구 과학자로 고용했습니다.

Google에서 근무하는 동안 Sutskever는 영어를 프랑스어로 번역할 수 있는 신경망의 변형을 발명했습니다. 그는 입력(예: 영어 문장)의 시퀀스 구조를 캡처하고 이를 시퀀스 구조(예: 프랑스어 문장)가 있는 출력에 매핑하는 "Sequence to Sequence Learning"을 제안했습니다.

그는 연구원들이 신경망이 번역할 수 있다고 믿지 않았기 때문에 실제로 그렇게 했을 때 큰 놀라움을 느꼈다고 말했습니다. 그의 발명품은 최고의 번역가들을 제치고 Google 번역에 대대적인 업그레이드를 제공했습니다. 언어 번역은 다시는 동일하지 않습니다.

2015: Google에서 OpenAI로: 인공 지능의 새로운 장

Sam Altman과 Greg Brockman은 Sutskever와 9명의 다른 연구원을 함께 모아 이 분야에서 작업하는 것이 여전히 가능한지 확인했습니다. 최고의 마음이 연구실을 구성합니다. OpenAI가 될 연구실에 대해 논의할 시간이 되었을 때 Sutskever는 자신의 신념과 소망을 공유하는 같은 생각을 가진 사람들의 그룹을 찾았다는 것을 깨달았습니다.

Brockman은 이 10명의 연구자에게 자신의 연구실에 참여하도록 초대하고 결정하는 데 3주를 주었습니다. Google이 이 사실을 알게 되었을 때, 그들은 Sutskever에게 합류할 수 있도록 상당한 금액의 돈을 제안했습니다. 거절당한 후 Google은 첫해에 연봉을 거의 200만 달러로 인상했는데, 이는 OpenAI가 그에게 지급한 금액의 2~3배였습니다.

그러나 Sutskever는 Google에서 수백만 달러에 달하는 채용 제의를 기꺼이 거절하고 결국 비영리 OpenAI의 공동 창립자가 되었습니다.

OpenAI의 목표는 인공지능을 활용하여 모든 인류에게 혜택을 주고 책임 있는 방식으로 인공지능을 발전시키는 것입니다.

2018년: GPT 1, 2, 3 개발

Sutskever는 OpenAI가 GPT-1을 발명하도록 이끌었고, 이후 GPT-2, GPT-3 및 ChatGPT로 개발되었습니다.

GPT(Generative Pre-trained Transformer) 모델은 신경망을 기반으로 한 일련의 언어 모델입니다. GPT 모델의 모든 업데이트는 자연어 처리 분야의 획기적인 발전입니다.

• GPT-1(2018) : 이 시리즈의 첫 번째 모델은 대규모 인터넷 텍스트 데이터세트로 훈련되었습니다. 주요 혁신 중 하나는 비지도 사전 학습을 사용하는 것입니다. 여기서 모델은 이전 단어의 맥락을 기반으로 문장의 단어를 예측하는 방법을 학습합니다. 이를 통해 모델은 언어 구조를 학습하고 인간과 유사한 텍스트를 생성할 수 있습니다.
• GPT-2(2019) : GPT-1의 성공을 바탕으로 더 큰 데이터 세트에서 훈련되어 더 강력한 모델이 탄생했습니다. GPT-2의 주요 발전 중 하나는 광범위한 주제에 대해 일관되고 유창한 텍스트 구절을 생성하는 능력으로, 감독되지 않은 언어 이해 및 생성 작업의 핵심 역할을 합니다. ​
• GPT-3(2020) : GPT-3은 규모와 성능 모두에서 상당한 발전을 이루었습니다. 이전 모델보다 훨씬 더 많은 1,750억 개의 매개변수를 사용하는 대규모 데이터세트에서 훈련되었습니다. GPT-3는 인간에 가까운 능력으로 질문 답변, 기계 번역, 요약 등 광범위한 언어 작업에서 최첨단 성능을 달성합니다. 또한 간단한 코딩 작업을 수행하고, 일관된 뉴스 기사를 작성하고, 심지어 시를 생성하는 능력도 보여줍니다.
• GPT-4: 은 곧, 아마도 2023년에 나타날 것으로 예상됩니다.

2021년: DALL-E 1 개발

Sutskever는 또한 AI 기반 이미지 생성 모델인 DALL-E 1의 발명에서 OpenAI를 주도했습니다. GPT 모델과 유사한 아키텍처 및 학습 프로세스를 사용하지만 텍스트 대신 이미지 생성에 적용됩니다.

오늘날의 주요 이미지 생성기 중 상당수(DALL-E 2, MidJourney)는 동일한 변환기 아키텍처를 기반으로 하고 유사한 이미지 데이터 세트 및 관련 텍스트 설명에서 작업하기 때문에 DALL-E 1에서 존재합니다. 교육을 수행합니다. 또한 DALL-E 2와 MidJourney는 모두 DALL-E 1의 미세 조정 프로세스를 기반으로 합니다.

2022년: ChatGPT를 전 세계에 공개

2022년 11월 30일 Sutskever는 ChatGPT 출시를 도왔으며 이는 광범위한 대중의 관심을 끌었고 단 5일 만에 사용자가 100만 명으로 성장했습니다.

ChatGPT는 대규모 텍스트 데이터 세트에서 심층 신경망을 사전 훈련한 다음 질문에 답하거나 텍스트 생성과 같은 특정 작업에 맞게 미세 조정하는 방식으로 작동합니다. GPT-3 언어 모델을 기반으로 한 대화형 인공지능 시스템입니다.

대화의 맥락을 이해하고 적절한 반응을 생성하는 것은 ChatGPT의 주요 기능 중 하나입니다. 봇은 대화 스레드를 기억하고 이전 질문과 답변을 기반으로 후속 응답을 제공합니다. 사전 프로그래밍된 반응으로 제한되는 경우가 많은 다른 챗봇과 달리 ChatGPT는 앱 내에서 반응을 생성하여 더욱 역동적이고 다양한 대화를 나눌 수 있습니다.

Elon Musk는 OpenAI의 창립자 중 한 명입니다. 그는 다음과 같이 말했습니다. "ChatGPT는 정말 훌륭합니다. 우리는 위험할 정도로 강력한 인공 지능에서 멀지 않습니다."

Endnotes

인공 지능에 대한 Ilya Sutskever의 열정은 이 분야의 방향을 바꾸는 획기적인 연구를 주도했습니다. 딥 러닝과 머신 러닝에 대한 그의 작업은 최첨단 기술을 발전시키고 해당 분야의 미래 방향을 형성하는 데 중요한 역할을 했습니다.

저희는 인공지능 분야에서 Sutskever의 작업이 미치는 영향도 직접 목격했습니다. 그는 이 분야의 진로를 바꾸었고 계속해서 이 방향으로 일할 것입니다. 여러 번 물질적인 유혹에 직면했음에도 불구하고 Sutskever는 자신의 열정을 추구하고 연구에 집중하기로 결정했습니다. 자신의 연구에 대한 헌신은 모든 연구자에게 모범이 됩니다.

이제 우리는 Sutskever가 우리 세계에 미친 영향을 목격했습니다. 분명히 이것은 시작에 불과합니다.

위 내용은 ChatGPT의 진정한 영웅: OpenAI 수석 과학자 Ilya Sutskever의 믿음의 도약의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!