Andrew Ng의 ChatGPT 수업이 입소문을 냈습니다. AI는 단어를 거꾸로 쓰는 것을 포기했지만 전 세계를 이해했습니다.

ChatGPT가 오늘날까지도 어리석은 실수를 저지를 거라고는 예상하지 못했나요?

Andrew Ng 선생님이 최근 수업에서 지적하신 내용은 다음과 같습니다.

ChatGPT는 단어를 뒤집지 않습니다!

예를 들어, Lollipop이라는 단어를 거꾸로 바꾸면 출력은 pilollol이 되어 완전히 혼란스럽습니다.

아, 이건 좀 충격이네요.

한 네티즌이 Reddit에 올라온 수업을 들은 후 곧바로 많은 구경꾼들이 몰리며, 해당 게시물은 단숨에 조회수 6,000회를 돌파할 정도로 화제가 되었습니다.

그리고 이것은 우연한 버그가 아닙니다. 네티즌들은 ChatGPT가 실제로 이 작업을 완료할 수 없다는 것을 발견했으며 개인 테스트 결과도 동일합니다.

Δ실제 테스트 ChatGPT (GPT-3.5)

Bard, Bing, Wen Xinyiyan 등 많은 제품에서도 작동하지 않습니다.

Δ실제 테스트 Bard

Δ실제 테스트 Wen Xinyiyan

몇몇 사람들은 ChatGPT가 이러한 간단한 단어 작업을 처리하는 데 매우 부족하다고 불평했습니다.

예를 들어, 인기 있는 단어 게임 Wordle을 플레이하는 것은 재앙이었고 제대로 된 적이 없었습니다.

어? 왜 이런거야?

핵심은 토큰에 있습니다

이 현상의 핵심은 토큰에 있습니다. 토큰은 텍스트에서 가장 일반적인 문자 시퀀스이기 때문에 대형 모델에서는 토큰을 사용하여 텍스트를 처리하는 경우가 많습니다.

단어 전체일 수도 있고 단어의 일부일 수도 있습니다. 대형 모델은 이러한 토큰 간의 통계적 관계에 익숙하며 다음 토큰을 능숙하게 생성할 수 있습니다.

따라서 단어 반전이라는 작은 작업을 처리할 때 문자 대신 각 토큰을 뒤집는 것일 수도 있습니다.

이것은 중국어 맥락에서 훨씬 더 분명합니다. 단어는 토큰이거나 단어는 토큰입니다.

처음의 예와 관련하여 누군가 ChatGPT의 추론 과정을 이해하려고 노력했습니다.

OpenAI는 보다 직관적인 이해를 위해 GPT-3 Tokenizer도 출시했습니다.

예를 들어, Lollipop이라는 단어는 GPT-3에서 I, oll, ipop의 세 부분으로 이해됩니다.

경험의 요약을 바탕으로 기록되지 않은 몇 가지 규칙이 탄생했습니다.

• 1개 토큰 4개 단어 3/4개
• 1-2개 문장 30개 토큰
• 100개 단어 1500개 토큰
• 단어를 나누는 방법도 언어에 따라 다릅니다. 누군가는 이전에 중국어에서 사용되는 토큰의 수가 영어의 1.2~2.7배라고 계산했습니다.

토큰 대 문자(토큰 대 단어) 비율이 높을수록 처리 비용이 높아집니다. 따라서 중국어 토큰화 처리는 영어보다 비용이 더 많이 듭니다.

이렇게 이해하시면 됩니다. 토큰은 대형 모델이 인간의 현실 세계를 이해하는 방법입니다. 이는 매우 간단하며 메모리와 시간 복잡성을 크게 줄여줍니다.

그러나 단어를 토큰화하는 데는 문제가 있어 모델이 의미 있는 입력 표현을 학습하기 어렵게 만듭니다. 가장 직관적인 표현은 단어의 의미를 이해할 수 없다는 것입니다.

Transformers는 그에 맞춰 최적화되었습니다. 예를 들어 복잡하고 흔하지 않은 단어는 의미 있는 토큰과 독립된 토큰으로 구분되었습니다.

"annoyingly"가 "annoying"과 "ly"의 두 부분으로 나뉘는 것처럼 전자는 그 자체의 의미를 유지하고 후자는 더 일반적입니다.

이로 인해 오늘날 인간의 언어를 매우 잘 이해할 수 있는 ChatGPT 및 기타 대형 모델 제품의 놀라운 효과가 발생했습니다.

단어 뒤집기 같은 작은 작업을 처리할 수 없는 경우 자연스럽게 해결책이 있습니다.

가장 간단하고 직접적인 방법은 먼저 단어를 직접 분리하는 것입니다~

또는 ChatGPT에서 단계별로 수행하고 각 문자를 먼저 토큰화하도록 할 수도 있습니다.

아니면 글자를 바꾸는 프로그램을 작성하게 하세요. 그러면 프로그램의 결과가 정확해질 것입니다. (개머리)

그러나 GPT-4도 사용 가능하며 실제 테스트에서는 그런 문제는 없습니다.

Δ 측정된 GPT-4

간단히 말하면 토큰은 AI의 자연어 이해의 초석입니다.

AI가 인간의 자연어를 이해하는 가교로서 토큰의 중요성은 점점 더 분명해지고 있습니다.

AI 모델의 성능과 대형 모델의 과금 기준을 결정하는 핵심 요소가 되었습니다.

토큰 문헌도 있습니다

위에서 언급했듯이 토큰은 모델이 단어 의미, 단어 순서, 문법 구조 등과 같은 보다 세분화된 의미 정보를 포착하는 데 도움을 줄 수 있습니다. 시퀀스 모델링 작업(예: 언어 모델링, 기계 번역, 텍스트 생성 등)에서 위치와 순서는 모델 구축에 매우 중요합니다.

모델이 시퀀스에서 각 토큰의 위치와 컨텍스트를 정확하게 이해하는 경우에만 내용을 더 잘 예측하고 합리적인 출력을 제공할 수 있습니다.

따라서 토큰의 품질과 수량은 모델 효과에 직접적인 영향을 미칩니다.

올해부터 대형 모델이 점점 더 많이 출시되면 토큰 수가 강조될 것입니다. 예를 들어 Google PaLM 2 노출의 세부 사항에는 훈련에 3.6조 개의 토큰이 사용되었다고 언급되어 있습니다.

그리고 업계의 많은 유명 인사들도 토큰이 정말 중요하다고 말했습니다!

올해 Tesla에서 OpenAI로 전환한 AI 과학자 Andrej Karpathy는 연설에서 다음과 같이 말했습니다.

더 많은 토큰은 모델의 사고력을 향상시킬 수 있습니다.

그리고 그는 모델의 성능이 매개변수 크기에 의해서만 결정되는 것이 아니라는 점을 강조했습니다.

예를 들어 LLaMA의 매개변수 크기는 GPT-3(65B vs 175B)보다 훨씬 작지만 훈련에 더 많은 토큰을 사용하기 때문에(1.4T vs 300B) LLaMA가 더 강력합니다.

토큰은 모델 성능에 직접적인 영향을 미치기 때문에 AI 모델의 과금 표준이기도 합니다.

OpenAI의 가격 기준을 예로 들면, 1K 토큰 단위로 요금이 부과됩니다. 모델과 토큰 유형에 따라 가격이 다릅니다.

한마디로 AI 대형 모델 분야에 발을 들여놓으면 토큰은 피할 수 없는 지식 포인트라는 것을 알게 될 것입니다.

글쎄, 토큰 문학까지 파생됐는데...

그러나 중국 세계에서 토큰의 번역이 아직 완전히 결정되지 않았다는 점은 언급할 만하다.

"토큰"을 직역하면 항상 좀 이상합니다.

GPT-4에서는 "워드 요소" 또는 "태그"라고 부르는 것이 더 좋다고 생각합니다. 어떻게 생각하시나요?

참조 링크:
[1]https://www.reddit.com/r/ChatGPT/comments/13xxehx/chatgpt_is_unable_to_reverse_words/
[2]https://help.openai.com/en/ 기사/4936856-what-are-tokens-and-how-to-count-them
[3]https://openai.com/pricing

위 내용은 Andrew Ng의 ChatGPT 수업이 입소문을 냈습니다. AI는 단어를 거꾸로 쓰는 것을 포기했지만 전 세계를 이해했습니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!