집 > 기사 > 기술 주변기기 > 컴퓨터에 ChatGPT를 설치하시겠습니까? 국내 오픈소스 대형언어모델 ChatGLM이 이를 실현시켜드립니다!

컴퓨터에 ChatGPT를 설치하시겠습니까? 국내 오픈소스 대형언어모델 ChatGLM이 이를 실현시켜드립니다!

WBOY앞으로: 2023-04-13 13:10:032194검색

안녕하세요 여러분.

오늘 저는 오픈 소스 대형 언어 모델 ChatGLM-6B를 여러분과 공유하고 싶습니다.

열흘만에 거의 10,000개의 별을 얻었습니다.

ChatGLM-6B는 중국어 및 영어 이중 언어를 지원하는 오픈 소스 대화형 언어 모델입니다. GLM(일반 언어 모델) 아키텍처를 기반으로 하며 62억 개의 매개변수를 가지고 있습니다. 모델 양자화 기술과 결합하여 사용자는 이를 소비자급 그래픽 카드에 로컬로 배포할 수 있습니다(INT4 양자화 수준에서는 최소 6GB의 비디오 메모리가 필요함). ChatGLM-6B는 ChatGPT와 유사한 기술을 사용하며 중국어 질문과 답변 및 대화에 최적화되어 있습니다. 감독된 미세 조정, 피드백 셀프 서비스, 인간 피드백 강화 학습 및 기타 기술로 보완된 약 1T 식별자를 사용하여 중국어와 영어로 된 이중 언어 교육을 마친 후 62억 개의 매개변수 ChatGLM-6B는 다음과 상당히 일치하는 답변을 생성할 수 있었습니다. 인간의 선호.

누구나 자신의 컴퓨터에 설치하여 사용해 볼 수 있습니다. 독립 그래픽의 최소 비디오 메모리는 6G이며 CPU 컴퓨터에서도 실행할 수 있지만 속도가 매우 느립니다.

이 프로젝트는 현재 모델과 추론 코드만 오픈소스로 제공하고 모델 교육은 오픈소스로 제공하지 않습니다.

프로젝트를 실행하려면 두 단계만 필요합니다.

첫 번째 단계는 소스 코드를 다운로드하는 것입니다

git clone https://github.com/THUDM/ChatGLM-6B.git

pip install -r 요구사항.txt를 실행하여 종속성을 설치합니다

두 번째 단계는 프로젝트를 실행하는 것입니다

python web_demo.py

실행 후에는 아마도 4G 정도에서 모델 파일이 자동으로 다운로드될 것입니다.

GPU에서 실행 중인 경우 기본적으로 실행 중인 모델의 비디오 메모리는 13G 이상입니다. 비디오 메모리가 충분하지 않은 경우 web_demo.py

tokenizer = AutoTokenizer.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True)
model = AutoModel.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True).half().cuda()

위 코드에서 THUDM/chatglm-6b를 수정하세요. THUDM/chatglm-6b-int4 , 즉 int4 양자화 모델로 전환하면 비디오 메모리가 6g보다 큰 한 원활하게 실행될 수 있습니다.

CPU 메모리가 부족하다고 보고되면 다른 소프트웨어, 특히 브라우저를 닫으세요.

성공적으로 실행되면 자동으로 브라우저 페이지로 이동하며, ChatGPT처럼 사용할 수 있습니다.

다음은 내 로컬 작업 결과입니다. ChatGPT

컴퓨터에 ChatGPT를 설치하시겠습니까? 국내 오픈소스 대형언어모델 ChatGLM이 이를 실현시켜드립니다!