300위안을 들여 조립한 컴퓨터가 국산 대형 모델을 뚫고 성공적으로 돌아갔습니다.
- PHPz앞으로
- 2024-04-12 08:07:09959검색
2023년이 모두가 AI 원년으로 인정받는다면, 2024년은 대형 AI 모델 대중화의 핵심 해가 될 가능성이 높습니다.
지난해에는 수많은 대형 AI 모델과 수많은 AI 애플리케이션이 등장했습니다. 'AI 인공지능'이라는 개념이 갑자기 사람들에게 다가온다.
요즘 사람들은 생활 속에서 점점 더 인공 지능에 노출되고 있습니다. 자세히 살펴보면 액세스할 수 있는 다양한 AI 애플리케이션이 거의 모두 "클라우드"에 배포되어 있다는 것을 알 수 있습니다. 대형 모델을 로컬에서 구동할 수 있는 장치를 구축하려는 경우 하드웨어는 5000위안이 넘는 최신 AIPC가 될 것이며 이는 일반 소비자에게 친숙하지 않습니다.
(사진 출처: Google)
하지만 예산을 극도로 압축한 다음 "사용 가능한" 콘솔을 맞추는 것은 모든 DIY 플레이어에게 최고의 즐거움입니다. 이제 문제는 대규모 음성 모델을 로컬에서 실행할 수 있는 컴퓨터를 정말로 갖고 싶다면 비용이 얼마나 들 것인가 하는 것입니다.
내 예산은 - 300위안입니다.
최근 메모리/스토리지 제품 가격이 많이 올랐음에도 불구하고, 외산 쓰레기 가격은 크게 변하지 않았습니다. 심지어 초기 외산 쓰레기 CPU와 마이닝 카드 GPU도 가격 하락 추세를 보이고 있습니다. 현재 AI 추세의 맥락에서 저는 사무실 오디오 및 비디오 요구 사항을 고수할 준비조차 되어 있지 않으며 비용 효율적인 보급형 로컬 대형 모델 호스트를 구축하기 위해 300위안의 예산으로 도전하기로 결정했습니다. .
구체적인 수술이나 최종 결과가 만족스러운지는 저를 따라오시면 자연스럽게 아실 겁니다.
클래식 구형 CPU, 채굴기 수준 GPU
CPU 선택 측면에서는 Xianyu에서 Intel® Core™ i3-4170T를 직접 선택했습니다.
이 프로세서는 2개의 코어와 4개의 스레드, 3.2GHz의 기본 주파수, 터보 주파수 기능 없음, 3MB 스마트 캐시 및 22nm 공정 기술을 사용하는 Haswell 아키텍처를 갖추고 있으며 가장 큰 특징은 HD4400 코어 디스플레이를 갖추고 있다는 것입니다. 내가 그것을 선택한 이유다.
(사진출처: 레이테크놀로지)
저가형 U는 저가형 보드가 함께 나온다는 말대로 제가 선택한 메인보드는 ASUS 워크패키지 H81M-V3 메인보드이고, DDR3 메모리 슬롯은 말할 것도 없고, HDMI 출력 인터페이스나 M2 하드 드라이브 슬롯도 없습니다. USB 3.0 및 SATA III 인터페이스가 2개만 있습니다. 이 제품의 가장 큰 장점은 중고 가격이 매우 저렴하다는 것입니다. .
이 보드 U 세트의 가격은 총 80위안 미만이며, 오늘날에도 가격 대비 성능이 뛰어납니다.
(사진출처: 타오바오)
이런 종류의 CPU라면 발열 걱정은 크게 안하셔도 됩니다.
Xianyu가 20개씩 팩으로 보낸 푸시다운 공냉식 방열 장치는 비록 외관이 다소 투박하고 투박하지만 확실히 저의 초저가 구성을 억제하기에 충분합니다.
(사진 출처 : Lei Technology)
그래픽 카드의 경우 최근 Xianyu에서 P106-090/P106-100 마이닝 카드가 많이 출시되었는데, 그 중 가격은 전자는 일반적으로 75입니다. 후자의 가격은 일반적으로 120위안 정도입니다. 이번에는 원래 의도가 게임용이 아니었음을 고려하여 마침내 Zotac P106-090 마이닝 카드를 선택했습니다. 게임이지만 가격은 바로 거기에 있습니다.
마지막으로 이름 없는 DDR3 메모리 2개를 장착하여 듀얼 채널 메모리를 구성하고, 350W Great Wall 전원 공급 장치를 전원 공급 장치로 사용하고, 120GB SATA SSD를 시스템 디스크로 사용하고, 마지막 설치에서 남은 대형 버팔로 실리콘 그리스를 만들고 마지막으로 20위안 소형 컴퓨터 시티 케이스를 추가하면 300위안 설치에 필요한 기본 하드웨어가 모두 갖추어져 있습니다.
(사진출처: 레이테크놀로지)
불합격시 득점 도전! 합리적인 성능
설치완료, 섀시에 불을 켜세요!
먼저 간단한 성능 테스트를 해보겠습니다. 수년간 복무한 베테랑으로서 Intel® Core™ i3-4170T의 성능은 TrottlesStop으로 전력 소비를 잠금 해제해도 그대로입니다. 모바일과 거의 맞먹는 엔드엔드 코어 6세대와 코어 7세대 프로세서 수준.
(사진출처: 레이테크놀로지)
실제 테스트 세션에서 CPU-Z 테스트에서는 싱글코어 테스트에서 319.9점, 멀티코어 테스트에서 881.0점을 얻었습니다. CINEBENCH 테스트 기준으로 CINEBENCH R20 멀티코어 점수는 732cb, 싱글코어 테스트에서는 732cb였습니다. 핵심 점수는 301cb였습니다. 물론, 이 성능은 눈에 띄지는 않지만 일상적인 사무 및 가벼운 오락에는 충분합니다. ㅋㅋㅋ 1354MHz까지 확장 가능하고 768개의 셰이딩 유닛을 갖고 있으며 DirectX12를 지원하고 메모리 사양은 3072MB/192Bit Samsung GDDR5 메모리이며 메모리 주파수는 2002MHz에 달합니다.
(출처: Lei Technology)
P106-090의 인터페이스는 PCI-E x4 1.1인 반면, P106-100의 인터페이스는 PCI-E x16 1.1이라는 점은 주목할 만합니다. , 이는 동일한 코어를 사용하더라도 둘 사이에 상대적으로 분명한 성능 차이를 가져옵니다. P106-090 그래픽 카드는 매우 저렴한 가격으로 CUDA 컴퓨팅 성능을 제공할 수 있기 때문입니다.
그림에서 볼 수 있듯이 DX11 성능을 평가하기 위한 Fire Strike 테스트에서 P106-90은 DX12 성능을 평가하기 위한 Time Spy 테스트에서 3287점의 그래픽 점수를 획득했습니다. 기본 테스트에서 3287점의 그래픽 점수를 얻었습니다. 테스트에서는 2251점의 그래픽 점수를 얻었습니다. 이 성능은 GTX1050과 유사하지만 R5-7640H의 핵심 디스플레이 성능에는 일정한 차이가 있습니다. 
(출처: Lei Technology)
저희는 40위안을 들여 이 오프 브랜드 128GB Sata SSD 하드 드라이브를 구입했습니다. 순차 읽기 및 쓰기 속도는 505.28MB/입니다. s 및 400.09MB/s, 랜덤 4K 읽기 및 쓰기 속도는 132.35MB/s 및 244.29MB/s에 달합니다. 비록 M2 SSD 하드 드라이브와 비교할 수는 없지만 시스템 시동 디스크로는 충분합니다.
(출처: Lei Technology)
이 듀얼 채널 DDR3 메모리 쌍은 메모리 캐시 테스트에 AIDA64가 사용되었으며 측정된 읽기 속도는 20894MB/s였습니다. 쓰기 속도는 20894MB/s, 복사 속도는 20901MB/s, 대기 시간은 67.5ns로 이 컴퓨터에 딱 맞습니다.
(사진출처:레이테크놀로지)
대형게임도 실제로 구동 가능
지역대규모 몇백불 예산으로 사용가능한 세트를 제작하는게 목적이니까 -모델 게임 콘솔이므로 실제 경험은 확실히 우리가 가장 주목하는 것입니다. 
먼저 Koblod.AI 인터페이스를 통합한 llamacpp 시작 프로그램인 Koblodcpp를 사용해 보세요. 현재 인터넷에서 인기 있는 GGUF 형식의 로컬 대형 모델을 실행할 수 있으며 음성 대형 모델과 대형 도면도 통합할 수 있습니다. 달성할 모델 대화를 하는 동안 음성과 해당 장면 효과가 생성됩니다.
(출처: Lei Technology)
안타깝게도 현재 Huggingface에서 공유되는 대형 GGUF 형식 모델의 용량은 일반적으로 3GB를 초과합니다. 선택한 용량이 5GB 정도에 불과하더라도 causallm_7b 모델은 여전히 그래픽 카드 메모리가 오버플로되고 CPU가 계산에 개입하게 되어 결국 대형 모델 전체의 운영 효율성이 저하되는 결과를 낳습니다. ㅋㅋㅋ 생성하는 데 약 50초가 소요되는데, 이는 대규모 클라우드 모델이 응답을 제공하는 평균 10초와는 크게 다릅니다.
이 경우 차선책을 선택하고 Intel AIGC Assistant를 사용하여 로컬 대형 모델을 경험하는 것이 좋습니다. 이는 다양한 로컬 대형 언어 모델을 통합하고 없이 실행하는 데 전념하는 데모입니다. 네트워크에 연결되어 지능적인 인간-기계 대화를 실현합니다. 
컴퓨터 네트워크가 꺼진 경우, 일정 시간이 걸리는 대형 모델의 초기 배포를 제외하고, 후속 질문에 대한 답변은 기본적으로 5초 이내에 답변됩니다. , 매우 빠릅니다. 일부 난해한 문제나 산술 문제를 처리할 때 여전히 논리적 오류가 발생하지만 이 경우 전반적인 경험은 이전보다 훨씬 좋습니다.
(사진출처: 레이테크놀로지) 
물론, 캐릭터 카드, 프롬프트 단어 등 고급 기능은 절대 사용할 수 없습니다.
다시 AI 페인팅을 살펴보겠습니다. 제가 여기서 사용하는 것은 Stablediffsion WebUI, 다양한 SD 플러그인 다운로드 및 모델 원격 사용이 통합된 Huiyo 런처입니다. 하나의 런처 장치.
(사진출처: 레이테크놀로지)
P106-90의 저장용량 제한이 3GB밖에 안되는 점을 고려하여, 실제 테스트를 거쳐 용량이 2GB에 불과한 mistoonAnime MIX_v20 모델을 선택했습니다. P106 -90에서는 128*160 사진 4장을 생성하는 데 약 3분, 240*320 사진 4장을 생성하는 데 약 7~8분, 512*512 사진 1장을 생성하는 데 약 6분이 소요됩니다.
(사진출처: 레이테크놀로지)
개인적으로 128*160 사진부터 시작하면서 프롬프트 단어나 플러그인을 만났을 때 적합한 사진을 추천드립니다. 그런 다음 AI 업그레이드를 거쳐 단일 사진을 다시 그려서 전반적인 경험이 상당히 좋습니다. 그렇지 않으면 사진이 512*512 사양으로 생성된 경우 사진을 삭제할 확률은 일반적으로 높지 않습니다.
(출처: Lei Technology, SD로 생성한 사진)
로컬 대형 모델을 사용할 수 있으니 게임 경험은 어떨까요?
실제 하드웨어 구성을 고려하여 "Far Cry 6", "Shadow of the Tomb Raider", "F1 2020" 및 "Horizon: Zero Dawn" 4가지 게임을 FHD 해상도로 테스트했습니다. 각자의 활약을 살펴보세요.
"Far Cry 6"의 성능 테스트에서 최저 화질 1920*1080에서 이 컴퓨터의 평균 프레임 속도는 32fps였습니다. FSR 성능 프로필을 켜도 최종 게임 프레임입니다. 속도는 40fps만 가능합니다.
(출처: Lei Technology)
레이싱 게임을 다시 보면, "F1 2020"에서는 1920*1080 미디엄 화질을 켜고 호주에서 화창한 날 테스트를 진행했습니다. 트랙의 최종 평균 프레임 속도는 59fps에 도달할 수 있으며 여러 번 사용된 이 마이닝 카드도 원활하게 실행될 수 있습니다.
(사진출처: 레이테크놀로지)
표준 테스트 게임인 '섀도우 오브 더 툼레이더'는 당연히 이 테스트를 놓치지 않았습니다. FSR을 켜지 않고 최저 이미지 품질인 1920*1080으로 기본 설정한 경우 게임 벤치마크 테스트를 실행하는 이 컴퓨터의 평균 프레임 속도는 50fps로, 이 3A 게임 배치 중에서 안정적인 60fps 게임 경험에 가장 가깝습니다. ㅋㅋㅋ 1280 *최저 화질인 720에서는 30fps라는 통과선에 겨우 도달할 수 있어 게임용으로는 부적합하다고 할 수밖에 없습니다.
(출처: Lei Technology)
일반적으로 P106-090의 실제 성능은 심각한 대역폭 제한으로 인해 비슷한 실행 점수를 보이는 GTX1050만큼 좋지 않습니다. Iris Xe 96EU 코어 디스플레이보다 약간 더 강하지만 최근에는 3A 게임에 대응하기 위해 다소 늘어났습니다.
요약: 실제로는 대형 모델을 실행할 수 있지만 안정성이 좋지 않습니다.
장점:
2. 채굴 카드 드라이버는 매우 분실하기 쉽고, 흰색 화면 문제가 때때로 발생합니다.
"Far Cry 6"와 같은 AAA 명작을 실행하더라도 FHD 저화질에서 60프레임의 안정적인 작동을 보장하므로 "League of Legends"와 같은 온라인 게임을 처리하기에 충분할 것입니다. , 보급형 온라인 게임 호스트로 사용할 수 있습니다.
(사진 출처 : 레이테크놀로지)
그럼 이 컴퓨터 호스트에 만족하시나요?
실제 사용 중에 P106-90 마이닝 카드에서 드라이버 오류가 여러 번 발생하여 컴퓨터에 흰색 화면이 발생했습니다. 드라이버를 제거한 후 다시 설치해야 합니다. 이것이 테스트에서 약간 번거롭다면 일상적인 사용에서는 확실히 받아들이기가 어렵습니다.
현재 Xianyu에는 제가 조립한 기계와 유사한 구성을 가진 많은 외국 정크 기계가 있다는 점은 주목할 가치가 있습니다. 가격은 일반적으로 약 350~400위안이고 대상 고객은 분명히... 젊은 사람들을 위한 것입니다. 대학에 다니거나 사회에 나오지 않는 사람들에게는 개인적으로 이러한 제품을 구매하지 말 것을 제안합니다. 돈을 지불하는 것은 농담이 아닙니다.
결론적으로 쓰레기 줍는 것은 위험하므로 차에 타기 전 주의가 필요합니다. 고급 컴퓨터로 플레이하는 데 지친 플레이어에게는 가끔 가비지 컬렉터를 가지고 플레이하는 것이 여전히 매우 흥미롭지만 이는 단지 재미를 위한 것일 뿐이며 실제로 오랫동안 메인 머신으로 사용할 의도는 없습니다. .결국 가비지 컬렉터의 부속품은 파손된 상태이며, 고장으로 인해 중요한 데이터를 잃어버리면 그만한 가치가 있습니다.
그러나 300위안의 예산을 사용하여 국산 대형 모델 PC를 구동하려는 시도를 완료함으로써 하드웨어 성능이 AI PC 개발을 제한하는 주요 요인이 아닐 수도 있음을 어느 정도 보여줍니다. 적어도 일반 소비자의 사용 시나리오에서 PC 제조업체가 해야 할 일은 컴퓨팅 성능을 향상시키는 대신 사용자가 대규모 AI 모델의 프레임워크와 환경을 구축하도록 돕고 시스템과 소프트웨어 측면에서 사용자에게 더 나은 경험을 제공하는 것입니다. 즉, AI PC는 DIY PC를 직접 조립하는 것이 아니라 사용자가 손끝에서 사용할 수 있는 것이어야 한다.
위 내용은 300위안을 들여 조립한 컴퓨터가 국산 대형 모델을 뚫고 성공적으로 돌아갔습니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!