Tiktoken 튜토리얼 : OpenAI '의 Python 라이브러리를 토큰 화를위한 Python 라이브러리-일체 포함-php.cn

집

기술 주변기기

일체 포함

Tiktoken 튜토리얼 : OpenAI '의 Python 라이브러리를 토큰 화를위한 Python 라이브러리

Jennifer Aniston

Mar 05, 2025 am 10:30 AM

Tiktoken Tutorial: OpenAI's Python Library for Tokenizing Text 입자 분사는 NLP (Natural Language Processing) 작업을 다루는 기본 단계입니다. 여기에는 텍스트를 단어, 서브 워드 또는 문자 일 수있는 마커라고하는 작은 단위로 나누는 것이 포함됩니다.

효율적인 워드 세분화는 언어 모델의 성능에 중요하므로 텍스트 생성, 번역 및 추상화와 같은 다양한 NLP 작업에서 중요한 단계입니다.

tiktoken은 OpenAi가 개발 한 빠르고 효율적인 동의어 사전입니다. 텍스트를 태그로 변환하기위한 강력한 솔루션을 제공하며 그 반대도 마찬가지입니다. 속도와 효율성은 대형 데이터 세트 및 복잡한 모델로 작업하는 개발자 및 데이터 과학자에게 탁월한 선택입니다.

이 안내서는 개발자, 데이터 과학자 및 Tiktoken을 사용할 계획이며 예제가 포함 된 실용적인 가이드가 필요한 사람을 위해 설계되었습니다.

Openai의 기본 사항 OpenAi API 등을 시작하십시오!

지금 시작하십시오

O200K_BASE : 최신 GPT-4O-MINI 모델 인코딩.

CL100K_BASE : GPT-4 및 GPT-3.5-Turbo와 같은 최신 OpenAI 모델에 대한 코딩 모델.

<__> p50k_base : 코드 애플리케이션에 사용되는 Codex 모델.

<__> r50k_base : 다른 버전의 GPT-3에 대한 이전 인코딩.

이 모든 모델은 OpenAI의 API에서 사용할 수 있습니다. API는 여기에 나열된 모델보다 훨씬 더 많은 모델을 제공합니다. 다행히 Tiktoken 라이브러리는 어떤 모델과 함께 사용해야하는 인코딩을 쉽게 확인할 수있는 방법을 제공합니다.

예를 들어, 텍스트에 절개 된 모델이 어떤 인코딩 모델을 인코딩 해야하는지 알아야한다면 다음 명령을 실행하고 출력으로 답을 얻을 수 있습니다.

우리는 출력으로

를 얻습니다. Tiktoken을 직접 사용하기 전에 OpenAi에는 다양한 문자열이 토큰 화되는 방법을 알 수있는 토큰 화 된 웹 응용 프로그램이 있다고 언급하고 싶습니다. 여기에서 액세스 할 수 있습니다. 오 페나이 모델을 지원하는 타사 온라인 태그 인 Tiktokenizer도 있습니다.

텍스트를 마커로 인코딩합니다 tiktoken을 사용하여 텍스트를 태그로 인코딩하려면 먼저 인코딩 된 객체를 가져와야합니다. 초기화하는 두 가지 방법이 있습니다. 먼저 토큰 화기의 이름을 사용 하여이 작업을 수행 할 수 있습니다.

또는 특정 모델에 대한 인코더를 얻기 위해 앞에서 언급 한 encoding_for_model 함수를 실행할 수 있습니다.

이제, 우리는 인코딩 객체의 인코드 메소드를 실행하여 문자열을 인코딩 할 수 있습니다. 예를 들어 다음과 같이 "I Love DataCamp"문자열을 인코딩 할 수 있습니다. 여기서는 CL100K_BASE 인코더를 사용합니다.

우리는 출력으로 [40, 3021, 2956, 34955]를 얻습니다.

<code>pip install tiktoken</code>

마크를 텍스트로 디코딩하십시오 텍스트로 마크를 디코딩하려면 인코딩 된 객체에서 .decode () 메소드를 사용할 수 있습니다.

다음 태그를 해독하자 이 마크는 "DataCamp에서 많은 것을 배웠습니다"로 디코딩됩니다. 실제 사용 사례 및 팁 인코딩 및 디코딩 외에도 다른 두 가지 사용 사례도 생각했습니다.

비용 추정 및 관리 OpenAI API에 요청을 보내기 전에 태그 계산을 이해하면 비용을 효율적으로 관리하는 데 도움이 될 수 있습니다. OpenAI의 청구는 처리 된 태그 수를 기준으로하기 때문에 사전 태그 된 텍스트를 사용하면 API 사용 비용을 추정 할 수 있습니다. Tiktoken을 사용하여 텍스트에서 태그를 계산하는 방법은 다음과 같습니다.

우리는 배열의 길이를 확인하여 얼마나 많은 마크를 얻는 지 확인하면됩니다. 미리 태그 수를 알면 텍스트를 단축 할 것인지 또는 예산을 유지하기 위해 사용량을 조정할지 결정할 수 있습니다.

Python의 Tiktoken 라이브러리를 사용하여 GPT 비용을 추정하는이 튜토리얼 에서이 방법에 대해 자세히 알아볼 수 있습니다.

입력 길이 검증 API의 OpenAI 모델을 사용할 때 최대 마커 입력 및 출력 수로 제한됩니다. 이러한 제한을 초과하면 오류 또는 출력이 잘릴 수 있습니다. Tiktoken을 사용하면 입력 길이를 확인하고 마킹 한계를 준수 할 수 있습니다.

결론 tiktoken은 오픈 소스 시소러스입니다.

Tiktoken을 사용하여 텍스트를 인코딩하고 디코딩하는 방법 및 다양한 코딩 모델은 대형 언어 모델로 작업을 크게 향상시킬 수 있습니다.

최고 AI 인증을 받으
는 AI를 효과적이고 책임감있게 사용할 수 있음을 증명합니다. 인증을 받고
를 고용하십시오

위 내용은 Tiktoken 튜토리얼 : OpenAI '의 Python 라이브러리를 토큰 화를위한 Python 라이브러리의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!

성명

본 글의 내용은 네티즌들의 자발적인 기여로 작성되었으며, 저작권은 원저작자에게 있습니다. 본 사이트는 이에 상응하는 법적 책임을 지지 않습니다. 표절이나 침해가 의심되는 콘텐츠를 발견한 경우 admin@php.cn으로 문의하세요.

관련 기사

Tesla의 Robovan은 2024 년 Robotaxi 티저의 숨겨진 보석이었습니다.Apr 22, 2025 am 11:48 AM

2008 년 이래로 저는 도시 교통의 미래로서 "Robotjitney"라고 불리는 공유 라이드 밴을 옹호했습니다. 나는이 차량들을 21 세기의 차세대 대중 교통 솔루션 인 Surpas로 예측합니다.

Sam 's Club은 영수증 수표를 제거하고 소매를 강화하기 위해 AI에 베팅합니다.Apr 22, 2025 am 11:29 AM

체크 아웃 경험 혁명 Sam 's Club의 혁신적인 "Just Go"시스템은 기존 AI 기반 AI 기반 "Scan & Go"기술을 기반으로하여 회원이 쇼핑 중에 Sam's Club 앱을 통해 구매를 스캔 할 수 있습니다.

Nvidia의 AI Omniverse는 GTC 2025에서 확장됩니다Apr 22, 2025 am 11:28 AM

GTC 2025에서 Nvidia의 향상된 예측 가능성 및 신제품 라인업 AI 인프라의 핵심 업체 인 Nvidia는 고객의 예측 가능성 증가에 중점을두고 있습니다. 여기에는 일관된 제품 제공, 성과 기대치 충족 및 충족이 포함됩니다

Google의 Gemma 2 모델의 기능을 탐색합니다Apr 22, 2025 am 11:26 AM

Google의 Gemma 2 : 강력하고 효율적인 언어 모델 효율성과 성능으로 축하되는 Google의 Gemma Family of Language 모델은 Gemma 2의 도착으로 확장되었습니다.이 최신 릴리스는 두 가지 모델로 구성됩니다 : 27 억 매개 변수 Ver Ver

Genai의 다음 물결 : Kirk Borne 박사와의 관점 -Salystics VidhyaApr 22, 2025 am 11:21 AM

이 데이터 에피소드와 함께이 선도에는 주요 데이터 과학자, 천체 물리학 자, TEDX 스피커 인 Kirk Borne 박사가 있습니다. Borne 박사는 빅 데이터, AI 및 머신 러닝 분야의 유명한 전문가 인 현재 상태와 미래의 Traje에 대한 귀중한 통찰력을 제공합니다.

주자와 운동 선수를위한 AI : 우리는 훌륭한 진전을 이루고 있습니다Apr 22, 2025 am 11:12 AM

이 연설에는 인공 지능이 사람들의 신체 운동을 지원하는 데 왜 좋은지를 보여주는 공학에 대한 백 그라운드 정보가 매우 통찰력있는 관점이있었습니다. 스포츠에서 인공 지능 적용을 탐구하는 데 중요한 부분 인 세 가지 디자인 측면을 보여주기 위해 각 기고자의 관점에서 핵심 아이디어를 간략하게 설명 할 것입니다. 에지 장치 및 원시 개인 데이터 인공 지능에 대한이 아이디어에는 실제로 두 가지 구성 요소가 포함되어 있습니다. 하나는 우리가 큰 언어 모델을 배치하는 위치와 관련하여 하나의 구성 요소와 다른 하나는 인간 언어와 활력 징후가 실시간으로 측정 될 때“표현”하는 언어의 차이와 관련이 있습니다. Alexander Amini는 달리기와 테니스에 대해 많은 것을 알고 있지만 그는 여전히

Caterpillar의 기술, 인재 및 혁신에 관한 Jamie EngstromApr 22, 2025 am 11:10 AM

Caterpillar의 최고 정보 책임자이자 IT의 수석 부사장 인 Jamie Engstrom은 28 개국에서 2,200 명 이상의 IT 전문가로 구성된 글로벌 팀을 이끌고 있습니다. 현재 역할에서 4 년 반을 포함하여 Caterpillar에서 26 년 동안 Engst

새로운 Google 사진 업데이트는 Ultra HDR 품질로 모든 사진 팝을 만듭니다.Apr 22, 2025 am 11:09 AM

Google Photos의 새로운 Ultra HDR 도구 : 빠른 가이드 Google Photos의 새로운 Ultra HDR 도구로 사진을 향상시켜 표준 이미지를 활기차고 높은 동기 범위의 걸작으로 변환하십시오. 소셜 미디어에 이상적 이며이 도구는 모든 사진의 영향을 높이고

See all articles

핫 AI 도구

Undresser.AI Undress

사실적인 누드 사진을 만들기 위한 AI 기반 앱

AI Clothes Remover

사진에서 옷을 제거하는 온라인 AI 도구입니다.

Undress AI Tool

무료로 이미지를 벗다

Clothoff.io

AI 옷 제거제

Video Face Swap

완전히 무료인 AI 얼굴 교환 도구를 사용하여 모든 비디오의 얼굴을 쉽게 바꾸세요!

뜨거운 도구

Atom Editor Mac 버전 다운로드

가장 인기 있는 오픈 소스 편집기

SublimeText3 영어 버전

권장 사항: Win 버전, 코드 프롬프트 지원!

mPDF

mPDF는 UTF-8로 인코딩된 HTML에서 PDF 파일을 생성할 수 있는 PHP 라이브러리입니다. 원저자인 Ian Back은 자신의 웹 사이트에서 "즉시" PDF 파일을 출력하고 다양한 언어를 처리하기 위해 mPDF를 작성했습니다. HTML2FPDF와 같은 원본 스크립트보다 유니코드 글꼴을 사용할 때 속도가 느리고 더 큰 파일을 생성하지만 CSS 스타일 등을 지원하고 많은 개선 사항이 있습니다. RTL(아랍어, 히브리어), CJK(중국어, 일본어, 한국어)를 포함한 거의 모든 언어를 지원합니다. 중첩된 블록 수준 요소(예: P, DIV)를 지원합니다.

DVWA

DVWA(Damn Vulnerable Web App)는 매우 취약한 PHP/MySQL 웹 애플리케이션입니다. 주요 목표는 보안 전문가가 법적 환경에서 자신의 기술과 도구를 테스트하고, 웹 개발자가 웹 응용 프로그램 보안 프로세스를 더 잘 이해할 수 있도록 돕고, 교사/학생이 교실 환경 웹 응용 프로그램에서 가르치고 배울 수 있도록 돕는 것입니다. 보안. DVWA의 목표는 다양한 난이도의 간단하고 간단한 인터페이스를 통해 가장 일반적인 웹 취약점 중 일부를 연습하는 것입니다. 이 소프트웨어는

MinGW - Windows용 미니멀리스트 GNU

이 프로젝트는 osdn.net/projects/mingw로 마이그레이션되는 중입니다. 계속해서 그곳에서 우리를 팔로우할 수 있습니다. MinGW: GCC(GNU Compiler Collection)의 기본 Windows 포트로, 기본 Windows 애플리케이션을 구축하기 위한 무료 배포 가능 가져오기 라이브러리 및 헤더 파일로 C99 기능을 지원하는 MSVC 런타임에 대한 확장이 포함되어 있습니다. 모든 MinGW 소프트웨어는 64비트 Windows 플랫폼에서 실행될 수 있습니다.