Groq Llama 3 70B를 로컬에서 사용하기 위한 단계별 가이드

번역기 | Bugatti

Reviewer | Chonglou

이 문서에서는 Groq LPU 추론 엔진을 사용하여 Jan AI 및 VSCode에서 초고속 응답을 생성하는 방법을 설명합니다.

모두가 AI의 인프라 측면에 초점을 맞춘 Groq와 같은 더 나은 대형 언어 모델(LLM)을 구축하기 위해 노력하고 있습니다. 이러한 대형 모델의 빠른 응답은 이러한 대형 모델이 더 빠르게 응답하도록 보장하는 핵심입니다.

이 튜토리얼에서는 Groq LPU 구문 분석 엔진과 API 및 Jan AI를 사용하여 노트북에서 로컬로 액세스하는 방법을 소개합니다. 이 기사에서는 코드 생성, 코드 리팩터링, 문서 입력 및 테스트 단위 생성을 돕기 위해 이를 VSCode에 통합합니다. 이 기사에서는 우리만의 인공 지능 프로그래밍 도우미를 무료로 만들 것입니다.

Groq LPU 추론 엔진 소개

Groq LPU(언어 처리 장치) 추론 엔진은 순차적 구성 요소가 있는 계산 집약적 애플리케이션(예: LLM)에 대해 빠른 응답을 생성하도록 설계되었습니다.

CPU 및 GPU에 비해 ​​LPU는 더 강력한 컴퓨팅 성능을 갖추고 있어 단어 예측에 필요한 시간을 줄이고 텍스트 시퀀스 생성 속도를 크게 높입니다. 또한 LPU는 GPU에 비해 ​​메모리 병목 현상을 처리할 수 있으므로 LLM에서 더 나은 성능을 제공합니다.

요컨대, Groq LPU 기술은 실시간 AI 애플리케이션을 위한 LLM을 매우 빠르게 만듭니다. LPU 아키텍처에 대해 자세히 알아보려면 Groq ISCA 2022 문서(https://wow.groq.com/isca-2022-paper/)를 읽어보세요.

Jan AI 설치

Jan AI는 오픈 소스 및 독점 대규모 언어 모델을 기본적으로 실행하는 데스크톱 애플리케이션입니다. Linux, macOS 및 Windows 버전에서 다운로드할 수 있습니다. Jan AI를 다운로드하여 Windows에 설치합니다. 이렇게 하려면 https://github.com/janhq/jan/releases로 이동하여 ".exe" 확장자를 가진 파일을 클릭합니다.

개인 정보 보호 강화를 위해 로컬에서 LLM을 사용하려면 "노트북에서 LLM을 사용하는 5가지 방법" 블로그 게시물(https://www.kdnuggets.com/5-ways-to-use-)을 읽어보세요. llms-on-your-laptop)을 통해 가장 발전된 오픈 소스 언어 모델을 사용해 보세요.

Groq Cloud API 만들기

Jan AI와 함께 Grog Llama 3를 사용하려면 API가 필요합니다. 이를 위해 https://console.groq.com/으로 이동하여 Groq Cloud 계정을 생성하겠습니다.

Groq에서 제공하는 다양한 모델을 테스트하고 싶다면 별다른 설정 없이 플레이그라운드 탭으로 이동하여 모델을 선택하고 사용자 입력을 추가하면 됩니다.

이 예에서는 초당 310개의 토큰을 생성하여 지금까지 본 것 중 가장 빠른 속도로 매우 빠릅니다. Azure AI나 OpenAI도 이런 유형의 결과를 얻을 수 없습니다.

API 키를 생성하려면 왼쪽 패널의 "API 키" 버튼을 클릭한 후 "API 키 생성" 버튼을 클릭하여 API 키를 생성하고 복사하세요.

Jan AI와 함께 Groq 사용

다음 단계에서는 Groq Cloud API 키를 Jan AI 애플리케이션에 붙여넣습니다.

Jan AI 애플리케이션을 실행하고 설정으로 이동한 후 확장 섹션에서 "Groq Inference Engine" 옵션을 선택하고 API 키를 추가하세요.

그런 다음 스레드 창으로 돌아갑니다. 모델 섹션의 "원격" 섹션에서 Groq Llama 370B를 선택하여 프롬프트 입력을 시작합니다.

응답이 너무 빨리 생성되어 따라갈 수도 없습니다.

참고: 이 API의 무료 버전에는 몇 가지 제한 사항이 있습니다. 이에 대해 자세히 알아보려면 https://console.groq.com/settings/limits를 방문하세요.

VSCode에서 Groq 사용

다음으로 동일한 API 키를 CodeGPT VSCode 확장에 붙여넣고 자체 무료 AI 프로그래밍 도우미를 구축해 보겠습니다.

확장 탭에서 CodeGPT 확장을 검색하여 설치하세요.

CodeGPT 탭이 나타나 모델 제공자를 선택할 수 있습니다.

Groq를 모델 공급자로 선택하면 API 키를 묻는 메시지가 표시됩니다. 동일한 API 키를 붙여넣기만 하면 됩니다. CodeGPT에 대한 또 다른 API 키를 생성할 수도 있습니다.

이제 뱀 게임을 코딩하도록 요청하겠습니다. 코드를 생성하고 실행하는 데 10초밖에 걸리지 않았습니다.

저희 스네이크 게임은 아래에서 보여드리겠습니다.

상위 5개 AI 프로그래밍 보조자(https://www.kdnuggets.com/top-5-ai-coding-assistants-you-must-try)에 대해 알아보고 AI 기반 개발자가 되는 것이 좋습니다. 개발자이자 데이터 과학자. AI는 우리를 대체하는 것이 아니라 우리를 돕기 위한 것임을 기억하십시오. 따라서 AI에 마음을 열고 코딩을 개선하는 데 사용하십시오.

결론

이 튜토리얼에서는 Groq 추론 엔진과 Jan AI Windows 애플리케이션을 사용하여 로컬로 액세스하는 방법에 대해 배웠습니다. 마지막으로 CodeGPT VSCode 확장을 사용하여 이를 워크플로에 통합했습니다. 정말 멋진 일이었습니다. 더 나은 개발 경험을 위해 실시간으로 응답을 생성합니다.

원제: Groq Llama 3 70B 로컬 사용: 단계별 가이드, 작성자: Abid Ali Awan

링크: https://www.kdnuggets.com/using-groq-llama-3-70b-locally-step- 단계별 가이드.

AIGC에 대해 자세히 알아보려면 다음을 방문하세요.

51CTO AI.x 커뮤니티

https://www.51cto.com/aigc/

위 내용은 Groq Llama 3 70B를 로컬에서 사용하기 위한 단계별 가이드의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!