Tiktoken 튜토리얼 : OpenAI '의 Python 라이브러리를 토큰 화를위한 Python 라이브러리

입자 분사는 NLP (Natural Language Processing) 작업을 다루는 기본 단계입니다. 여기에는 텍스트를 단어, 서브 워드 또는 문자 일 수있는 마커라고하는 작은 단위로 나누는 것이 포함됩니다.

효율적인 워드 세분화는 언어 모델의 성능에 중요하므로 텍스트 생성, 번역 및 추상화와 같은 다양한 NLP 작업에서 중요한 단계입니다.

tiktoken은 OpenAi가 개발 한 빠르고 효율적인 동의어 사전입니다. 텍스트를 태그로 변환하기위한 강력한 솔루션을 제공하며 그 반대도 마찬가지입니다. 속도와 효율성은 대형 데이터 세트 및 복잡한 모델로 작업하는 개발자 및 데이터 과학자에게 탁월한 선택입니다.

이 안내서는 개발자, 데이터 과학자 및 Tiktoken을 사용할 계획이며 예제가 포함 된 실용적인 가이드가 필요한 사람을 위해 설계되었습니다.

Openai의 기본 사항 OpenAi API 등을 시작하십시오!

지금 시작하십시오

O200K_BASE : 최신 GPT-4O-MINI 모델 인코딩.
• CL100K_BASE : GPT-4 및 GPT-3.5-Turbo와 같은 최신 OpenAI 모델에 대한 코딩 모델.
<__> p50k_base : 코드 애플리케이션에 사용되는 Codex 모델.
• <__> r50k_base : 다른 버전의 GPT-3에 대한 이전 인코딩.
• 이 모든 모델은 OpenAI의 API에서 사용할 수 있습니다. API는 여기에 나열된 모델보다 훨씬 더 많은 모델을 제공합니다. 다행히 Tiktoken 라이브러리는 어떤 모델과 함께 사용해야하는 인코딩을 쉽게 확인할 수있는 방법을 제공합니다.
예를 들어, 텍스트에 절개 된 모델이 어떤 인코딩 모델을 인코딩 해야하는지 알아야한다면 다음 명령을 실행하고 출력으로 답을 얻을 수 있습니다.
우리는 출력으로

를 얻습니다. Tiktoken을 직접 사용하기 전에 OpenAi에는 다양한 문자열이 토큰 화되는 방법을 알 수있는 토큰 화 된 웹 응용 프로그램이 있다고 언급하고 싶습니다. 여기에서 액세스 할 수 있습니다. 오 페나이 모델을 지원하는 타사 온라인 태그 인 Tiktokenizer도 있습니다.

텍스트를 마커로 인코딩합니다 tiktoken을 사용하여 텍스트를 태그로 인코딩하려면 먼저 인코딩 된 객체를 가져와야합니다. 초기화하는 두 가지 방법이 있습니다. 먼저 토큰 화기의 이름을 사용 하여이 작업을 수행 할 수 있습니다.

또는 특정 모델에 대한 인코더를 얻기 위해 앞에서 언급 한 encoding_for_model 함수를 실행할 수 있습니다.

이제, 우리는 인코딩 객체의 인코드 메소드를 실행하여 문자열을 인코딩 할 수 있습니다. 예를 들어 다음과 같이 "I Love DataCamp"문자열을 인코딩 할 수 있습니다. 여기서는 CL100K_BASE 인코더를 사용합니다.

우리는 출력으로 [40, 3021, 2956, 34955]를 얻습니다.

<code>pip install tiktoken</code>

마크를 텍스트로 디코딩하십시오 텍스트로 마크를 디코딩하려면 인코딩 된 객체에서 .decode () 메소드를 사용할 수 있습니다.

다음 태그를 해독하자 이 마크는 "DataCamp에서 많은 것을 배웠습니다"로 디코딩됩니다. 실제 사용 사례 및 팁 인코딩 및 디코딩 외에도 다른 두 가지 사용 사례도 생각했습니다.

비용 추정 및 관리 OpenAI API에 요청을 보내기 전에 태그 계산을 이해하면 비용을 효율적으로 관리하는 데 도움이 될 수 있습니다. OpenAI의 청구는 처리 된 태그 수를 기준으로하기 때문에 사전 태그 된 텍스트를 사용하면 API 사용 비용을 추정 할 수 있습니다. Tiktoken을 사용하여 텍스트에서 태그를 계산하는 방법은 다음과 같습니다.

우리는 배열의 길이를 확인하여 얼마나 많은 마크를 얻는 지 확인하면됩니다. 미리 태그 수를 알면 텍스트를 단축 할 것인지 또는 예산을 유지하기 위해 사용량을 조정할지 결정할 수 있습니다.

Python의 Tiktoken 라이브러리를 사용하여 GPT 비용을 추정하는이 튜토리얼 에서이 방법에 대해 자세히 알아볼 수 있습니다.

입력 길이 검증 API의 OpenAI 모델을 사용할 때 최대 마커 입력 및 출력 수로 제한됩니다. 이러한 제한을 초과하면 오류 또는 출력이 잘릴 수 있습니다. Tiktoken을 사용하면 입력 길이를 확인하고 마킹 한계를 준수 할 수 있습니다.

결론 tiktoken은 오픈 소스 시소러스입니다.

Tiktoken을 사용하여 텍스트를 인코딩하고 디코딩하는 방법 및 다양한 코딩 모델은 대형 언어 모델로 작업을 크게 향상시킬 수 있습니다.

최고 AI 인증을 받으

는 AI를 효과적이고 책임감있게 사용할 수 있음을 증명합니다. 인증을 받고

를 고용하십시오

위 내용은 Tiktoken 튜토리얼 : OpenAI '의 Python 라이브러리를 토큰 화를위한 Python 라이브러리의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!