간략한 분석: ChatGPT 애플리케이션의 기본 원칙

ChatGPT는 의심할 여지없이 최근 인터넷에서 가장 잘생긴 남자입니다. 이 사용 기간과 일부 정보 검토를 통해 Xiao Wang 형제는 그 뒤에 숨겨진 몇 가지 원리를 배우고 ChatGPT 응용 프로그램의 기본 원리를 설명하려고 노력했습니다. 부정확한 내용이 있으면 정정해 주시기 바랍니다.

이 기사를 읽으면 다음 질문에 답할 수 있습니다.

왜 일부 ChatGPT는 비용을 청구하고 일부는 청구하지 않습니까?

ChatGPT가 단어별로 답변하는 이유는 무엇인가요?

왜 가끔 중국어 질문에 대한 답변이 우스꽝스럽나요?

오늘이 무슨 요일인지 물어보면 왜 과거의 어느 날이라고 대답할까요?

왜 어떤 질문에는 답변을 거부하시나요?

"ChatGPT 국내 버전" 작동 원리

ChatGPT의 인기로 인해 많은 국내 버전이 출시되었지만 이 버전은 무료이지만 사용 시간과 그에 따른 충전 방법이 다릅니다. 왕샤오 형제는 밑그림을 그려 이해를 도우려고 노력했습니다.

[방법 1의 경우]: 계정 등록 후 온라인에서 과학적으로 사용하실 수 있습니다. 현재는 횟수 제한이 없습니다. 등록 비용에 대해서는 이전 기사를 참조하세요.

【방법 2】: 과학적인 인터넷 접속이 필요하지 않은 것으로 이해됩니다. 사용 비용은 "국내 버전 ChatGPT" 운영자의 서비스를 구입하는 것이므로 사용 비용도 다릅니다.

ChatGPT, 내부적으로는 어떻게 작동하나요?

먼저 OpenAI는 2022년 11월 30일 새로운 대화 도우미를 출시했습니다. 챗봇은 언어 모델(대형 언어 모델용 LLM) GPT-3, 더 정확하게는 버전 3.5를 기반으로 합니다. ChatGPT는 실제로 2022년 1월에 출시되었지만 당시에는 같은 인상을 주지 않았던 InstructGPT를 각색한 것입니다.

전작과 비교했을 때 ChatGPT의 장점은 무엇인가요?

사람과 유사한 텍스트를 자동으로 생성하는 기능과 대화 맥락을 고려하면서 Microsoft의 Tay 또는 Meta의 Galactica와 같은 이전 제품의 단점을 피하는 기능 덕분입니다. Tay는 24시간 이내에 인종차별주의자이자 외국인 혐오자가 되었습니다. Galactica는 넌센스와 잘못된 정보를 만들고 있으며 매우 설득력 있는 방식으로 인종차별에 대해 목소리를 낼 수 있습니다. Tay는 24시간 이내에 폐쇄되었고 Galactica는 3일 후에 폐쇄되었습니다. OpenAI는 Microsoft와 Meta의 실수로부터 교훈을 얻은 것으로 보입니다. 짧은 시간 안에 시스템은 전례 없는 수준으로 향상되었습니다.

GPT-3이란?

GPT(Generative Pre-trained Transformer) 시리즈 모델은 Transformer 기술을 기반으로 한 언어 모델로 구성됩니다. 샌프란시스코에 본사를 둔 OpenAI 회사가 개발했습니다. OpenAI는 테슬라 전기자동차의 수장인 엘론 머스크(Elon Musk)와 인큐베이터 Y Combinator(Scribd, Reddit, Airbnb, Dropbox, GitLab, Women Who Code 등) 회장의 전신인 미국 사업가 샘 알트먼(Sam Altman)이 2015년 12월 설립한 회사입니다. ), 2020년부터 OpenAI 이사회 의장을 맡고 있습니다.

2020년 GPT-3는 1,750억 개의 매개변수를 갖춘 역대 최대 규모의 언어 모델입니다. 너무 커서 훈련하려면 800GB의 메모리가 필요합니다.

LLM은 일반적으로 다양한 언어와 도메인의 수많은 예제 텍스트에서 생성됩니다. GPT-3는 Common Crawl, WebText2, Books1/2 및 Wikipedia에 있는 수천억 개의 영어 단어에 대해 훈련을 받았습니다. (샤오 왕 형제는 이것이 우리가 중국어로 질문하는 이유라고 생각하며, 그 대답은 때때로 우리를 웃고 울게 합니다) 이유). 또한 CSS, JSX, Python 등으로 코딩된 프로그래밍 예제를 통해 교육됩니다. 2048개의 토큰을 입력으로 받아들여 약 1,500 단어의 매우 큰 문장을 처리할 수 있습니다(OpenAI는 토큰을 약 4자 단어의 일부로 간주하고 약 750 단어를 나타내는 1,000 토큰의 예를 사용합니다).

GPT-3는 생성 모델로 분류되는데, 이는 주로 입력 문장의 끝에서 다음 토큰, 즉 다음 단어를 예측하도록 훈련된다는 의미입니다(이것이 화면에 단어 단위로 나타나는 이유이기도 합니다. ). 이제 검색 엔진이나 Outlook에서 자동 완성 메커니즘을 찾을 수 있습니다.

GPT-3은 저널리스트나 작가의 능력에 매우 가까운 텍스트를 생성하는 능력으로 여러 번 인용되었습니다. 문장의 시작 부분만 입력하면 단락이나 기사의 나머지 부분이 단어 하나하나 완성됩니다. 확장을 통해 이 모델은 번역, 질문에 대한 답변, 텍스트에서 누락된 단어 채우기 등 광범위한 언어 처리 작업을 처리하는 능력을 입증했습니다.

GPT-3.5는 GPT-3 모델의 변형입니다. 2021년 4분기까지 선택된 텍스트와 코드를 혼합하여 학습했습니다. 이는 ChatGPT가 해당 날짜 이후에 사실을 불러일으킬 수 없는 이유를 설명합니다. (오늘이 무슨 요일인지 물으면 과거의 어느 날이라고 대답하는 이유가 설명됩니다).

어떤 질문에는 답변을 거부하나요?

비윤리적인 질문을 하면 답변을 거부합니다. 다음과 같습니다.

정중히 답변을 거부합니다. Tay 및 Galactica와 달리 ChatGPT의 교육은 조정 API를 사용하여 소스에서 조정되므로 훈련 중에 부적절한 요청을 연기할 수 있습니다. 그럼에도 불구하고 위양성 및 위음성은 여전히 ​​발생할 수 있으며 과도한 조정으로 이어질 수 있습니다. Moderation API는 폭력, 자해, 증오, 괴롭힘, 성행위 카테고리를 기반으로 GPT 모델에서 수행되는 분류 모델입니다. 이를 위해 OpenAI는 특히 데이터가 충분하지 않은 경우 익명화된 데이터와 합성 데이터(샘플 없음)를 사용합니다.

마지막으로

ChatGPT의 실제 대화 시뮬레이션 능력은 놀랍습니다. 그것이 기계, 알고리즘이라는 것을 알더라도 우리는 너무 많은 질문을 던지는 게임에 얽매일 수밖에 없기 때문에 기계는 엄청난 지식으로 인해 신성해집니다.

하지만 자세히 보면 여전히 인간과 같은 이해와 자기 비판이 없는 문장 생성기입니다. 앞으로 어떤 일이 일어날지, 이런 유형의 아키텍처가 얼마나 성공적일지 더욱 궁금합니다.

참조:

모델 인덱스: https://beta.openai.com/docs/model-index-for-researchers

InstructGPT: https://openai.com/blog/instruction-following/

ChatGPT: https://openai.com/blog/chatgpt/

BLOOM: https://bigscience.huggingface.co/blog/bloom

Y 조합기: https://fr.wikipedia.org/wiki/Y_Combinator

위 내용은 간략한 분석: ChatGPT 애플리케이션의 기본 원칙의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!