MLC LLM: 오프라인 작업을 지원하고 그래픽 카드가 통합된 컴퓨터와 iPhone에 적합한 오픈 소스 AI 챗봇입니다.

5월 2일자 뉴스에 따르면 대부분의 최신 AI 챗봇은 처리를 위해 클라우드에 연결되어야 하며 로컬에서 실행할 수 있는 경우에도 구성 요구 사항이 매우 높습니다. 그렇다면 인터넷 연결이 필요 없는 가벼운 챗봇이 있을까요?

MLC LLM이라는 새로운 오픈 소스 프로젝트가 GitHub에서 출시되었습니다. 인터넷 연결 없이도 완전히 로컬로 실행되며 오래된 컴퓨터와 Apple iPhone 휴대폰에서도 실행될 수 있습니다.

MLC LLM 프로젝트 소개에는 다음과 같이 명시되어 있습니다. “MLC LLM은 효율적인 프레임워크 외에도 다양한 하드웨어 백엔드 및 기본 애플리케이션 세트에 모든 언어 모델을 로컬로 배포할 수 있는 범용 솔루션으로 모든 사람이 모델을 더욱 최적화할 수 있습니다. 모든 것이 서버 지원 없이 로컬에서 실행되며 휴대폰과 노트북에서 로컬 GPU로 가속화됩니다. 우리의 임무는 모든 사람이 로컬에서 AI 모델을 개발하고 배포할 수 있도록 하는 것입니다. ▲ MLC LLM 프로젝트 공식 데모

IT House 쿼리 GitHub 페이지에서 이 프로젝트의 개발자는 Carnegie Mellon University의 Catalyst Program, SAMPL Machine Learning Research Group 및 Washington University, Shanghai Jiao Tong University 및 OctoML 등 출신인 것으로 나타났습니다. Web LLM이라는 도구도 있습니다

▲ MLC는 Machine Learning Compilation의 약자입니다

MLC LLM은 Meta의 LLaMA를 기반으로 한 경량 LLM인 Vicuna-7B-V1.1을 사용하지만 효과는 없습니다. GPT3.5나 GPT4만큼 크기면에서 더 유리합니다.

현재 MLC LLM은 Windows, Linux, macOS 및 iOS 플랫폼에서 사용할 수 있습니다.

Android

에서는 아직 사용할 수 있는 버전이 없습니다.

외신 tomshardware의 테스트에 따르면 6GB 메모리를 탑재한 Apple

iPhone 14 Pro Max 및 iPhone 12 Pro Max 휴대폰에서 설치 크기 3GB로 MLC LLM을 성공적으로 실행했습니다. 4GB 메모리를 탑재한 Apple iPhone 11 Pro Max에서는 MLC LLM을 실행할 수 없습니다.

▲ 사진 출처 tomshardware

또한 ThinkPad X1 Carbon(6세대)도 MLC LLM 실행 테스트를 성공적으로 마쳤습니다. i7-8550U 프로세서가 탑재되고 독립 그래픽 카드가 없으며 Intel UHD 620이 탑재된 노트북입니다. GPU. MLC LLM은 PC 플랫폼에서 명령줄을 통해 실행해야 합니다. 해외 미디어 테스트의 성능은 평균이었고 응답 시간은 거의 30초가 걸렸으며 후속 대화 기능이 거의 개선되지 않았으면 좋겠습니다. 버전.

▲ 사진 출처 tomshardware

MLC LLM의 GitHub 페이지: 보려면 여기를 클릭하세요

위 내용은 MLC LLM: 오프라인 작업을 지원하고 그래픽 카드가 통합된 컴퓨터와 iPhone에 적합한 오픈 소스 AI 챗봇입니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!