OpenAI를 떠나 실직한 카파시(Karpathy)는 새로운 대규모 모델 프로젝트를 시작했고, 하루 만에 스타 수가 1,000개를 넘어섰다.

직업이 없어도 "롤"을 해야 합니다.

불안한 Andrej Karpathy가 새로운 프로젝트를 진행합니다!

지난 며칠간 OpenAI가 매우 활발해졌습니다. 먼저 AI 전문가 Andrej Karpathy가 공식적으로 사임을 발표했습니다. 이어 비디오 세대 모델인 Sora가 AI 계를 뒤흔들었습니다.

오픈AI 탈퇴를 선언한 카파티는 "이번주는 좀 쉴 수 있겠네요"라는 트윗을 남겼다. ).

하지만 Karpathy가 잠시 휴식을 취할 것이라고 정말로 생각한다면 그건 좀 "너무 어리고 너무 천진난만한" 것입니다.

아니요, 예리한 네티즌들은 Karpathy의 새로운 프로젝트인

minbpe를 발견했습니다. 이 프로젝트는 LLM 단어 분할에 일반적으로 사용되는 BPE(바이트 쌍 인코딩, 바이트 쌍 인코딩) 알고리즘을 위한 최소한의 깨끗하고 교육적인 알고리즘을 만드는 데 전념하고 있습니다. 코드 .

단 하루 만에 프로젝트의 GitHub 스타가 1.2k에 도달했습니다.

                                      출처: https://twitter.com/ZainHasan6/status/1758727767204495367

누군가 Karpathy가 "요리하다"라는 사진을 게시했습니다. 모두를 위해 큰 식사를했습니다."”. ㅋㅋㅋ ~ 어떤 분들은 환호해주셨고, 카파시가 돌아왔습니다.

이미지 출처: https://twitter.com/fouriergalois/status/1758775281391677477

minbpe 프로젝트가 구체적으로 어떤 이야기를 하는지 살펴보겠습니다.

프로젝트 소개

GitHub 주소: https://github.com/karpathy/minbpe

우리는 BPE 알고리즘이 "바이트 수준"이고 UTF-8로 인코딩된 문자열에서 작동한다는 것을 알고 있습니다. 알고리즘은 GPT-2 논문과 GPT-2 관련 코드를 통해 LLM(Large Language Model)에서 일반화되었습니다.

현재 모든 최신 LLM(예: GPT, Llama, Mistral)은 BPE 알고리즘을 사용하여 토크나이저를 교육합니다.

Karpathy의 minbpe 프로젝트 저장소는 토크나이저의 3가지 주요 기능을 수행할 수 있는 두 개의 토크나이저를 제공합니다. 1) 토크나이저 어휘를 훈련하여 지정된 텍스트로 병합, 2) 텍스트에서 토큰으로 인코딩, 3) 디코딩 토큰에서 텍스트로.

상세 저장소 파일은 다음과 같습니다.

• minbpe/base.py: 기본 클래스인 Tokenizer 클래스를 구현합니다. 여기에는 훈련, 인코딩 및 디코딩 스텁, 저장/로드 기능 및 일부 일반적인 유틸리티 기능이 포함됩니다. 하지만 이 클래스는 직접 사용하지 말고 상속받아야 합니다.
• minbpe/basic.py: 텍스트에서 직접 작동하는 BPE 알고리즘의 가장 간단한 구현인 BasicTokenizer를 구현합니다.
• minbpe/regex.py: 정규식 패턴으로 입력 텍스트를 추가로 분할하는 RegexTokenizer를 구현합니다. 전처리 단계에서는 단어 분할 전에 입력 텍스트를 범주(예: 문자, 숫자, 구두점)별로 분할합니다. 이렇게 하면 범주 경계를 넘어 병합이 발생하지 않습니다. GPT-2 논문에 소개되었으며 GPT-4에서도 계속 사용되고 있습니다.
• minbpe/gpt4.py: GPT4Tokenizer를 구현합니다. 이 클래스는 tiktoken(OpenAI 오픈 소스 단어 분할 아티팩트) 라이브러리에서 GPT-4 단어 분할을 정확하게 재현하는 RegexTokenizer의 경량 패키지입니다. 래퍼는 토크나이저에서 정확한 병합 복원에 대한 일부 세부 정보를 처리하고 일부 1바이트 토큰 순열을 처리합니다. 패리티 검사가 완전히 완료되지 않았으며 특수 토큰이 처리되지 않았다는 점에 유의해야 합니다.

스크립트 train.py는 입력 텍스트 test/taylorswift.txt에서 두 개의 주요 토크나이저를 훈련하고 시각화를 위해 어휘를 디스크에 저장합니다. Karpathy는 자신의 MacBook(M1)에서 스크립트를 실행하는 데 약 25초가 걸린다고 말합니다.

Karpathy는 또한 모든 문서가 매우 짧고 설명이 잘 되어 있으며 사용 예가 포함되어 있다고 명시했습니다. 아래는 BPE Wikipedia 기사의 재현 예입니다.

from minbpe import BasicTokenizertokenizer = BasicTokenizer()text = "aaabdaaabac"tokenizer.train(text, 256 + 3) # 256 are the byte tokens, then do 3 mergesprint(tokenizer.encode(text))# [258, 100, 258, 97, 99]print(tokenizer.decode([258, 100, 258, 97, 99]))# aaabdaaabactokenizer.save("toy")# writes two files: toy.model (for loading) and toy.vocab (for viewing)

또한 GPT4Tokenizer를 구현하는 방법과 tiktoken과의 비교 방법을 제공합니다.

text = "hello123!!!? (안녕하세요!) ?"# tiktokenimport tiktokenenc = tiktoken.get_encoding("cl100k_base")print(enc.encode(text))# [15339, 4513, 12340, 30, 320, 31495, 230, 75265, 243, 92245, 16715, 57037]# oursfrom minbpe import GPT4Tokenizertokenizer = GPT4Tokenizer()print(tokenizer.encode(text))# [15339, 4513, 12340, 30, 320, 31495, 230, 75265, 243, 92245, 16715, 57037]

물론 Karpathy는 GitHub 프로젝트를 시작하는 것만으로는 만족하지 않고 영상이 곧 공개될 것이라고 말했습니다. ㅋㅋㅋ 슬라 전직 AI 디렉터가 손으로 대형 GPT 모델 만드는 법을 가르쳐주는 강의 영상이 공개되었습니다》

《OpenAI 공동 제작 Karpathy가 알파카와 사랑에 빠지다: 아기 Llama2를 구현하는 순수 C 코드, MacBook can run, 별 1.6k개 받았습니다》

"OpenAI가 싸우는 동안 Karpathy는 비디오를 녹화하고 있었습니다: "대형 언어 모델 소개"가 온라인입니다"

위 내용은 OpenAI를 떠나 실직한 카파시(Karpathy)는 새로운 대규모 모델 프로젝트를 시작했고, 하루 만에 스타 수가 1,000개를 넘어섰다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!