ChatGPT 성공의 기술적 이유와 생명과학 분야에 대한 영감

이미 1950년대 일부 학자들은 컴퓨터가 인간 지능(또는 인간 지능의 일부)을 갖게 하는 것이 목적인 인공지능(Artificial Intelligence) 개념을 제안했습니다. 이 분야에서 수년간의 개발이 이루어진 후에도 2012년 딥러닝 기술이 등장하기 전까지는 여전히 획기적인 진전이 없었습니다. 딥러닝은 주로 모델 표현 능력의 병목 현상을 해결합니다. 이미지 이해, 언어 번역, 음성 인식, 분자-단백질 결합 구조 예측 및 기타 기술과 같이 우리가 직면하는 모델링 문제는 모두 매우 복잡한 비선형 문제입니다. 딥러닝이 등장하기 전에는 모델 표현 능력이 매우 약했고 이러한 복잡한 문제를 정확하게 표현하는 것은 불가능했습니다. 딥러닝 기술은 이론적으로 모델을 쌓아서 모든 깊이의 모델을 구축할 수 있어 모델 표현 능력의 병목 현상을 극복하여 음성 인식, 컴퓨터 비전, 자연어 이해 등의 분야에서 획기적인 발전을 이룰 수 있습니다.

딥러닝 기술의 등장은 인공지능이 새로운 단계에 진입했음을 의미합니다. 2012년경부터 시작된 딥러닝이 주도하는 인공지능의 물결을 차세대 인공지능 시대(실제로는 음성 인식 분야의 딥 러닝은 초창기까지 거슬러 올라갈 수 있지만 이후 딥 러닝의 많은 발전이 컴퓨터 비전 분야에서 이루어졌다는 점을 고려하면 2012년 AlexNet의 출현을 출발점으로 삼습니다. 이 기간은 딥러닝을 기반으로 하는 차세대 인공지능, 즉 주석 데이터 기반 딥러닝 모델의 첫 번째 단계로 볼 수 있으며, 이를 통해 모델 표현 능력이 크게 향상되어 인공지능의 획기적인 개선이 촉진됩니다. 기술, 컴퓨터 비전 및 음성 인식 분야에서 제품 및 상업적 성공을 거두었습니다. 이 단계의 주요 한계는 레이블이 지정된 데이터의 양에 따라 크게 달라진다는 것입니다. 모델 매개변수의 수가 증가할수록 많은 모델 매개변수를 해결하기 위해서는 많은 양의 훈련 데이터가 제약 조건으로 필요합니다. 주석이 달린 대량의 데이터를 얻는 것은 매우 비용이 많이 들고, 1억 수준에 도달한 후에도 개선이 어려우며, 데이터가 지원하는 효과적인 모델 크기도 제한됩니다. 2012년부터 2015년까지는 ResNet을 비롯한 다양한 심층 네트워크 모델이 등장하면서 컴퓨터 비전이 가장 활발한 분야였습니다. 2017년에는 중요한 기본작인 트랜스포머가 등장했습니다. 2019년에는 아직 큰 진전을 이루지 못했던 자연어 처리(NLP) 분야에서 BERT라는 작품이 눈에 띄며 12개 이상의 다양한 자연어 처리(NLP) 작업에서 최고의 결과를 달성했습니다. 이러한 작업 간의 차이는 매우 크기 때문에 BERT 작업이 게시된 후 즉시 전체 분야의 관심을 끌었습니다. BERT는 Self-supervised pre-training

이라는 아이디어를 채택했습니다. 데이터에 라벨을 지정하지 않고 모델을 학습할 수 있으며 텍스트 코퍼스 자체의 제약 조건만 사용할 수 있습니다(예: 특정 위치에서는 특정 제한된 단어만 사용할 수 있음). 인터넷에 존재하는 고품질 코퍼스를 수동 보정 없이 학습에 사용할 수 있도록 하기 때문에 사용 가능한 학습 데이터의 양이 갑자기 크게 늘어나므로 BERT 모델의 효과는 훨씬 좋습니다. 과거에 이 모델은 다양한 작업에 대한 다양성을 갖고 있으며 NLP 분야의 이정표 중 하나가 되었습니다.

사실 2018년 BERT가 등장하기 전에는 GPT(즉, GPT1.0)라는 또 다른 작업이 있었는데, 앞서 텍스트 생성을 위해 자기주도 사전 학습 아이디어를 활용했습니다. 이전 텍스트, 모델 예측 다음 텍스트를 출력하고 현장의 고품질 코퍼스를 주석 없이 학습할 수 있습니다. BERT와 GPT는 모두 Transformer를 기반으로 개발되었으며 Transformer는 점차 AI 분야의 일반 모델로 발전해 왔습니다. GPT1.0의 효과는 놀랍지 않습니다. BERT가 등장한 직후 GPT는 모델 크기와 훈련 데이터 양이 크게 향상되었습니다. 즉, 훈련 및 직접 테스트 결과를 위한 다운스트림 작업이 없는 모델로서 결과가 더 좋습니다. 대부분의 작업에는 현재 모델이 있습니다. 하지만 BERT 모델은 특징 표현에 있어 GPT2.0 모델보다 더 많은 장점을 갖고 있고 훈련하기도 쉽기 때문에 현 단계에서 현장에서 가장 고민되는 작업은 여전히 ​​BERT이다. 그러나 2020년 7월에는 1,700억 개의 매개변수로 모두를 놀라게 하는 GPT3.0이 나타났습니다. 더 중요한 것은 GPT3.0이 효과 측면에서 범용 언어 모델 역할을 한다는 점입니다. 세대를 설명하기 위한 간단한 설명만 제공하면 됩니다. 생성하려는 콘텐츠를 기반으로 실행 가능한 코드를 생성하고, 웹페이지나 아이콘을 생성하고, 기사나 뉴스를 완성하고, 재교육 없이 프롬프트에 따라 시와 음악을 쓸 수 있습니다. GPT3.0이 등장한 후 업계의 큰 관심을 받았으며 많은 개발자들이 GPT3.0을 기반으로 흥미로운 애플리케이션을 많이 만들었습니다. GPT3.0은 가장 우수하고 가장 인기 있는 텍스트 생성 모델이 되었습니다.

자기 지도 사전 학습 기술이 등장한 이후 차세대 인공 지능은 두 번째 단계로 발전했다고 볼 수 있습니다. 즉, 자기 지도 사전 학습 기술은 자체 감독 사전 학습을 기반으로 한 일반 대형 모델 시대의 지원으로 학습 데이터가 크게 향상되었습니다.

이후 GPT3.0은 현장의 다른 작업과 함께 모델 크기 군비 경쟁의 물결을 촉발했지만 진정한 획기적인 기술은 거의 등장하지 않았습니다. 단순히 모델 크기를 늘리는 것만으로는 문제가 근본적으로 해결되지 않는다는 사실은 모두가 알고 있습니다. 모두가 GPT4.0과 같은 후속작의 출현을 기대하고 있는 이때, GPT는 2년 동안 업데이트되지 않았습니다. 이 기간 동안 인공지능 분야에서 가장 활발한 작업은 주로 다중 모드 통합 모델과 콘텐츠 생성이라는 두 가지 측면에 중점을 두었습니다. 멀티모달 통합 모델은 멀티모달 또는 크로스모달 통합 모델을 구축하기를 희망하며, 최초의 크로스모달 표현 모델인 CLIP과 후속 A 시리즈를 포함하여 텍스트, 이미지, 음성과 같은 다양한 모달 데이터를 하나의 모델에서 균일하게 표현하려고 시도했습니다. 다중 모드 통합 표현 모델. 콘텐츠 생성 분야에서는 한편으로는 기술적인 차원에서 확산 모델(Diffusion Model)과 같은 기본 모델이 등장했으며, 일련의 변형 모델이 개발되면서 인공지능 콘텐츠 생성(AI) 분야가 탄생하게 되었습니다. 생성된 콘텐츠(AIGC)가 이미지 생성 분야에서 자연어 처리, 생명과학 분야로 확대되면서 매우 뜨거운 관심을 받고 있는 반면, 응용 분야에서는 상당한 발전이 이루어졌습니다. 텍스트 기반 이미지 생성 분야 중 가장 대표적인 작품인 DALLE2는 모델이 입력된 텍스트를 따라갈 수 있어 사실적으로 보이는 이미지를 출력하며, 텍스트 설명이 현실을 넘어서더라도 여전히 이미지 생성이 가능하다. 아래 그림과 같이 텍스트 설명과 합리적으로 일치하는 것으로 보입니다. DALLE2와 같은 일련의 작업의 성공은 한편으로는 텍스트와 이미지 의미 간의 대응을 모델링하는 대량의 텍스트-이미지 대응 데이터(약 수억 쌍)에 기인하고 다른 한편으로는 GAN, VAE 및 기타 모델을 극복하는 확산 모델은 훈련이 어렵고 생성된 효과의 세부 정보를 잘 유지하지 못하는 등의 단점이 있습니다. 이미지 생성 효과는 너무 놀라워서 많은 사람들이 AI가 이미 콘텐츠를 만들 수 있다고 믿고 있습니다.

사진. DALLE2 세대 효과

2022년 11월 말, OpenAI가 ChatGPT를 출시했습니다. ChatGPT가 출시된 후 모든 사람들은 이 챗봇이 매우 특이하고 종종 놀라운 답변을 제공한다는 것을 알게 되었습니다. 대화형 로봇 분야에는 Apple의 Siri, Microsoft의 Xiaobing Xiaona 등과 같은 많은 대화형 로봇이 있습니다. 이러한 일반적인 대화형 시스템의 경험은 그다지 이상적이지 않습니다. 스마트 스피커 등의 제품에 사용되는 명령-실행 질의 응답 로봇의 시스템 프레임워크는 규칙 중심의 대화 관리 시스템을 기반으로 하기 때문에 수동 규칙이 많아 일반 분야로 확장할 수 없습니다. 반면에 단순하고 양식화된 답변만 제공할 수 있으며 여러 라운드의 대화에 대한 환경적 의미 정보(컨텍스트)를 처리할 수 없습니다. 기술적 관점에서 ChatGPT는 원래의 주류 대화 시스템과 완전히 다릅니다. 전체 시스템은 주어진 입력에 대해 심층 모델에 의해 처리되고 추상적인 요약 답변을 직접 출력합니다. 제품 경험 측면에서도 ChatGPT는 과거 채팅 시스템을 훨씬 능가합니다. 일반 챗봇으로서 거의 모든 분야의 질문에 답할 수 있으며, 그 정확성은 인간이 계속 사용할 수 있는 수준에 도달했으며 여러 라운드의 대화 시나리오에서 여전히 매우 좋은 경험을 유지할 수 있습니다.

물론 ChatGPT는 딥러닝 모델로서 정확한 답변이 필요한 일부 질문(예: 수학적 계산, 논리적 추론 또는 이름 등)에 대해 100% 정확할 수 없는 결함이 있습니다. , 눈에 띄는 오류가 있습니다. 예를 들어, 일부 작업에서는 정보에 대한 참조 웹 링크를 제공할 예정입니다. Facebook의 최신 작업인 ToolFormer 에서는 생성 모델에서 계산을 위해 특정 작업을 특정 API에 넘겨주려고 합니다. 모델이 100% 정확할 수 없다는 문제를 극복할 것으로 기대됩니다. 이 길로 가면 Deep Generative Model이 AGI의 핵심 프레임워크가 될 것으로 예상되며, 플러그인을 통해 다른 스킬 API와 통합될 것이라는 생각이 매우 흥미롭습니다.

상업적으로는 ChatGPT가 Google과 같은 검색 엔진의 도전에 대한 상상력을 촉발한 반면, 모든 사람들은 자연어 이해와 관련된 다양한 수직 제품 적용 기회를 보았습니다. ChatGPT가 검색 추천에 필적할 수 있는 자연어 이해 분야에서 새로운 비즈니스 기회를 창출하고 있다는 것은 의심의 여지가 없습니다.

ChatGPT에는 왜 이렇게 놀라운 효과가 있나요? 핵심 이유 중 하나는 ChatGPT가 현재 자연어 이해 분야에서 텍스트 생성을 위한 최고의 모델이 되어야 하는 대규모 생성 모델 GPT3.5를 기반으로 구축되었다는 것입니다(GPT3.5는 더 많은 데이터를 사용하고 GPT3.0 모델보다 크고 결과가 더 좋습니다).

두 번째 핵심 이유는

인간 피드백 기반 강화 학습 기술, 즉 인간 피드백을 통한 강화 학습(RLHF로 약칭)입니다. OpenAI는 ChatGPT에 대한 논문을 발표하지 않았고 코드를 공개하지 않았기 때문에 일반적으로 이전 기사 InstructGPT(https://arxiv.org/pdf/2203.02155.pdf)에서 공개된 기술과 가장 유사하다고 여겨집니다. ). 아래 그림에 표시된 것처럼 InstructGPT의 설명에 따르면 첫 번째 단계는 동일한 질문에 대한 서로 다른 답변에 대한 사용자 선호도 데이터를 수집하는 것입니다. 두 번째 단계는 이 선호도 데이터를 사용하여 GPT 모델을 재교육하는 것입니다. 세 번째 단계는 다양한 답변에 대한 사용자의 선호도에 따라 점수를 부여하는 것입니다. 이 점수는 다양한 답변에 대한 사용자의 선호도를 반영합니다. 단계는 이 채점 기능을 강화 학습 방법으로 사용하는 것입니다. 피드백(보상)은 강화 학습 모델을 훈련하여 ChatGPT가 출력하는 최종 답변을 사용자가 좋아하는 답변에 더 편향되게 만듭니다. 위의 과정을 통해 ChatGPT는 GPT3.5를 기반으로 사용자 입력에 대해 보다 사용자 친화적인 답변을 출력합니다.

ChatGPT GPT 생성 모델 학습의 첫 번째 단계에서는 수십 TB에 달하는 많은 학습 데이터가 사용되며 모델 학습 비용은 수천만 달러가 소요되는 반면, 두 번째 단계는 GPT 생성 모델 기반 강화학습에 대해 소량의 고품질 데이터 피드백에는 수만 개의 고품질 데이터만 필요합니다. ChatGPT 기술은 인간의 피드백을 기반으로 한 강화 학습 기술과 결합된 자가 감독 사전 학습 대형 모델을 기반으로 하며 매우 중요한 진전을 이루었음을 알 수 있습니다.

이 새로운 패러다임은 인공지능 3단계의 핵심 구동 기술이 될 수 있습니다. 즉, 먼저 자기주도 사전 학습의 대규모 모델을 기반으로 한 다음, 소량의 높은 학습량을 기반으로 하는 강화 학습 기술과 결합됩니다. 모델의 폐쇄 루프를 형성하기 위한 고품질 데이터 피드백과 추가 기술 혁신을 얻기 위한 데이터 피드백.

ChatGPT에 대한 우리의 견해는 다음과 같습니다.

(1) ChatGPT는 실제로 이 시대의 가장 위대한 작품 중 하나이며, 자체 감독 사전 기반으로 대규모 모델을 생성하는 것의 차이점을 확인할 수 있습니다. -훈련과 소수의 고품질을 기반으로 한 데이터 강화학습 피드백 전략 결과 이후 AI의 놀라운 효과는 어떤 의미에서 우리의 인지를 변화시켰습니다.

(2) ChatGPT 관련 기술은 매우 큰 상업적 가치를 가지고 있어 검색 엔진을 포함한 많은 제품이 재구성되거나 전복될 수 있는 기회에 직면하게 됩니다. 이는 의심할 여지 없이 많은 새로운 비즈니스 기회를 가져올 것이며 전체 NLP 분야에 이익이 될 것입니다.

(3) 소량의 고품질 데이터를 기반으로 한 자기주도형 사전 학습 및 강화학습 피드백 전략을 기반으로 한 학습 패러다임은 향후 다양한 분야 발전의 원동력이 될 것으로 예상됩니다. NLP 분야 외에도 생명과학, 로봇공학, 자율주행 등 다양한 분야에서 활용될 것으로 예상되며 새로운 인공지능 붐을 일으키고 있다.

(4) ChatGPT는 인공지능이 인간의 마음을 가지고 있음을 증명하지 않습니다. ChatGPT가 보여주는 창의성과 지능 중 일부는 자연어 이해 코퍼스에 의미론과 논리가 포함되어 있고 생성 모델이 자연어를 기반으로 훈련되었기 때문입니다. 언어 말뭉치. 이러한 대응은 통계적 의미에서 학습되었으며 지능이 있는 것처럼 보이지만 실제로는 인간의 마음이 없습니다. ChatGPT는 훌륭하지만 그 지능이 몇 살짜리 아이의 지능과 같다고 말할 만큼 엄격하지는 않습니다. 기본적으로 AI에는 아직 사람들이 새로운 지식을 배우고, 논리적 추론, 상상, 동작 피드백을 수행할 수 있는 능력이 없기 때문입니다. ChatGPT의 지능과 기능에 대한 과도한 과대광고는 좋은 코인을 몰아내고 전체 산업에 해를 끼칠 것입니다.

(5) 이 분야에서는 여전히 중국의 기술 격차가 있습니다. 지난 2년 동안 GPT3.0과 3.5 없이는 실제로 GPT3.0의 효과를 재현할 수 있는 텍스트 생성 모델을 본 적이 없습니다. ChatGPT는 없을 것입니다. GPT3, GPT3.5, ChatGPT 등의 작업은 오픈소스가 아니며, 중국에서는 API조차 차단되어 있어 작업을 복사하는데 현실적으로 어려움이 있습니다. 좀 더 비관적으로 말하면 ChatGPT의 효과를 복제하려는 대부분의 팀은 성공하지 못할 것입니다.

(6) ChatGPT는 한두 명의 연구원이 만든 알고리즘 혁신이 아니라 팀과 조직 측면에서 일치해야 하는 고급 개념에 따라 안내되는 매우 복잡한 알고리즘 엔지니어링 시스템의 결과입니다(OpenAI와 유사). 그리고 딥마인드). 순수하게 연구 중심의 팀은 성공하지 못할 수도 있고, 딥 러닝을 충분히 이해하지 못하고 너무 엔지니어링 중심의 팀도 성공하지 못할 수 있습니다. 이 팀에는 첫째, 비용이 많이 드는 딥 러닝 교육 및 인재 채용을 지원하기 위한 충분한 리소스 지원, 둘째, 업계에서 대규모 엔지니어링 팀을 이끌어온 전문 리더가 필요합니다. ChatGPT는 알고리즘 혁신뿐만 아니라 엔지니어링 시스템 혁신도 가지고 있습니다. 셋째, 아마도 가장 중요한 것은 단결하고 협력하며 통일된 리더십을 갖고 논문 출판을 추구하지 않는 조직이 필요하다는 것입니다(느슨한 조직은 알고리즘 혁신에 도움이 되지만 엔지니어링 알고리즘 연구에는 도움이 되지 않음). 정말 훌륭한 엔지니어링 및 알고리즘 재능을 갖추고 있습니다.

(7) 우리는 ChatGPT 만들기를 추구할 뿐만 아니라 그 뒤에 있는 기술 혁신을 지속적으로 추구합니다. 즉, 대규모 모델을 생성하기 위한 자기주도 사전 훈련과 소량의 고품질 데이터가 차세대 기술입니다. ChatGPT의 핵심 기술은 인공 지능 분야의 전반적인 발전을 촉진하는 기술이기도 합니다. 가장 큰 우려는 추측과 추격으로 인한 권력 분산으로 인해 많은 자원이 낭비되거나 ChatGPT의 과도한 홍보가 업계에 해를 끼칠 것이라는 점이다.

(8) ChatGPT는 아직 개선의 여지가 있으며, 주목하고 기대할만한 기술은 이것뿐만이 아닙니다. AI에 대한 가장 흔한 오해는 단기 성능을 과대평가하고 장기 성능을 과소평가하는 것입니다. AI가 핵심 원동력이 된 위대한 시대이지만, AI가 그렇게 빨리 전능해지지는 않을 것이고 장기적인 노력이 필요할 것입니다.

여기서 2012년 이후 딥러닝으로 인한 차세대 인공지능 물결의 핵심 기술 진화를 간략하게 요약합니다.

(1) 첫 번째 단계에서 핵심 진전은 라벨링된 데이터 중심입니다. 지도 딥 러닝 모델은 모델 표현 기능을 크게 향상시켜 인공 지능 기술의 상당한 발전을 촉진했습니다. 이 단계에서 가장 활발한 분야는 컴퓨터 비전과 음성 인식입니다. 주된 한계는 레이블이 지정된 데이터가 상대적으로 비싸다는 것입니다. 결과적으로 데이터의 양은 데이터가 지원할 수 있는 효과적인 모델 크기를 제한합니다.

(2) 두 번째 단계의 주요 진전은 빅데이터 기반 일반 대형 모델의 자기 지도 사전 학습입니다. 모델의 크기도 몇 배로 향상되어 재교육을 위해 다운스트림 작업 필드의 데이터에 의존할 필요가 없는 일반 모델이 되었습니다. 가장 많이 발전하고 이 단계에서 가장 활발합니다. 주요 한계는 대규모 데이터 훈련이 필요하다는 것입니다. 모델이 매우 크고 훈련 및 사용 비용이 매우 높으며 수직 장면 모델을 재훈련하는 것도 매우 불편합니다. .

(3) 아직 3단계가 확정되지는 않았지만 일정한 추세를 보이고 있습니다. 앞으로 매우 중요한 기술적 핵심은 대형 모델을 기반으로 강화학습, 프롬프트 등의 방법을 사용하여 소량의 고품질 데이터만으로 대형 모델의 출력 결과에 큰 영향을 미칠 수 있는지 여부입니다 . 이 기술이 성공하면 자율주행, 로봇공학, 생명과학 등 데이터 수집 비용이 많이 드는 분야가 큰 이익을 얻을 수 있다. 과거에는 AI 모델의 문제점을 개선하려면 대량의 데이터를 수집하고 모델을 재교육해야 했습니다. 오프라인 상호작용이 필요한 로봇 분야에서 사전 훈련된 대형 모델을 기반으로 실제 장면에서 로봇에게 올바른 행동 선택과 잘못된 행동 선택을 알려주는 것만으로 로봇의 의사결정에 영향을 미칠 수 있다면, 무인 운전 및 로봇 공학 분야에서는 반복이 더욱 효율적이 될 것입니다. 생명과학 분야에서는 소량의 실험 데이터 피드백만으로도 모델 예측 결과에 큰 영향을 미칠 수 있다면, 생명과학 분야 전체와 컴퓨팅을 통합하는 혁명은 더욱 빠르게 다가올 것입니다. 현 시점에서 ChatGPT는 매우 중요한 이정표이며 앞으로도 많은 작업이 있을 것이라고 믿습니다.

우리가 더 관심을 갖고 있는 생명과학 분야로 돌아가 보겠습니다.

ChatGPT가 가져온 기술 발전으로 대부분의 NLP 관련 분야가 개선되었으므로 생명 과학 분야의 정보 쿼리, 검색 및 추출과 관련된 기술 및 제품이 가장 먼저 혜택을 받을 것입니다. 예를 들어, 미래에 생명 과학 분야에 대화형 수직 검색 엔진이 있을 가능성이 있습니까? 전문가가 어떤 질문(예: 질병, 표적, 단백질 등에 관한 질문)을 질문할 수 있습니까? 한편으로는 포괄적인 추세를 제공할 수 있습니다(정확하지는 않지만 정확할 가능성이 높으므로 해당 분야를 빠르게 이해하는 데 도움이 됨). 반면에 특정 주제에 대한 관련성 있고 가치 있는 정보를 제공할 수 있으며 이는 의심할 여지 없이 정보를 크게 향상시킬 수 있습니다. 전문가의 처리 효율성. 또 다른 예는 AI 의사를 구축해 환자들이 질병 지식과 치료 방법 등을 상담할 수 있도록 할 수 있는지(기술적 한계로 AI가 의사를 대체하기는커녕 정확한 답변을 줄 수는 없지만) 참고할 수 있는 정보는 많이 줄 수 있고, 후속 조치 수행 방법에 대한 제안은 오늘날의 검색 엔진보다 훨씬 더 나은 경험이 될 것입니다.

저분자-단백질 결합 형태 및 친화도 예측, 단백질-단백질 상호작용 예측, 저분자 표현 및 특성 예측, 단백질 특성 예측 등 생명과학 분야에는 아직 해결되지 않은 중요한 과제가 많이 있습니다. 및 소분자 생성, 단백질 설계, 역합성 경로 설계 및 기타 작업을 수행합니다. 현재로서는 이러한 문제가 완벽하게 해결되지 않은 상태에서 이러한 과제에 돌파구가 생긴다면 신약 개발은 물론 생명과학 전체 분야에도 큰 변화가 일어날 것입니다.

대형 모델을 기반으로 하는 AIGC 분야와 전문가 또는 실험적 피드백을 기반으로 하는 RLHF 분야는 ChatGPT의 홍보로 이익을 얻을 것이며 확실히 새로운 기술 발전으로 이어질 것입니다. 그 중 AIGC(인공지능 콘텐츠 생성) 기술은 지난해 소분자 생성과 단백질 설계 분야에서 좋은 진전을 이뤘다. 우리는 가까운 미래에 AIGC 생성 기술 개발로 인해 다음과 같은 과제가 큰 이익을 얻고 기술적 단계를 생산할 것으로 예측합니다.

(1) 저분자 생성 및 최적화 기술, 즉 활성에 의존하지 않는 방법 리간드 정보 대신 단백질 포켓 구조 정보를 기반으로 활성, 약물성, 합성성 등 다양한 조건을 종합적으로 고려한 리간드 소분자를 생성하는 기술입니다.

(2) 형태 예측은 어떤 의미에서는 생성 문제로 볼 수 있으며, 소분자 및 단백질 결합 형태 예측 작업에도 AIGC 관련 기술 개발이 도움이 될 것입니다.

(3) 단백질, 펩타이드, AAV 및 기타 시퀀스 설계 분야도 AIGC 기술 개발의 이점을 확실히 누릴 것입니다.

위에서 언급한 AIGC 관련 작업은 물론 활동 예측, 속성 예측, 합성 경로 설계 등을 포함하되 이에 국한되지 않는 실험적 검증 피드백이 필요한 거의 모든 작업은 다음과 같은 이점을 누릴 수 있는 기회를 갖게 됩니다. RLHF 기술이 가져온 배당금.

물론 어려운 점이 많습니다. 사용 가능한 데이터 양의 제한으로 인해 생명 과학 분야에서 사용되는 현세대 모델은 아직 상대적으로 얕은 수준이며, GNN과 같은 얕은 딥러닝 모델이 주로 사용됩니다(GNN은 메시지 전송의 부드러움과 레이어 수에 의해 제한됨). 약 3개 레이어에만 사용할 수 있습니다.) 생성 효과는 좋은 잠재력을 보여주지만 여전히 ChatGPT만큼 놀라운 수준은 아닙니다. 전문가나 실험적 피드백을 기반으로 한 강화학습 기술은 실험 데이터 생성 속도와 생성된 모델의 표현 능력 부족으로 인해 한계가 있으며, 놀라운 결과를 제시하는 데에도 일정 시간이 소요됩니다. 그러나 ChatGPT 기술의 진화 추세로 볼 때, 충분히 깊고 강력한 표현 능력을 갖춘 대규모 생성 모델을 훈련할 수 있고, 강화 학습을 사용하여 소량의 높은 데이터를 기반으로 대규모 모델의 효과를 더욱 향상시킬 수 있다면 -양질의 실험 데이터나 전문가의 피드백을 통해 AIDD 분야에 분명 혁명이 일어날 것이라고 기대할 수 있습니다.

요컨대 ChatGPT는 자연어 이해 분야의 기술 발전일 뿐만 아니라 정보 서비스 및 콘텐츠 생성 분야에서 새로운 비즈니스 트렌드를 촉발할 것입니다. 대용량 데이터를 기반으로 한 딥제너레이션 기술, 인간의 피드백을 기반으로 한 강화학습 기술은 장기적인 발전의 원동력이며 생명과학 등 분야의 급속한 발전을 이끌 것입니다. 우리는 AI 기술 발전과 산업 구현의 또 다른 물결을 이끌 것입니다.

위 내용은 ChatGPT 성공의 기술적 이유와 생명과학 분야에 대한 영감의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!