사전 훈련된 가중치를 사용하여 로컬에서 LLM을 실행하는 옵션은 무엇입니까?

질문 내용

사용 가능한 체중 저장소가 있지만 인터넷에 연결되지 않은 클러스터가 있습니다. 이에 대해 LLM 추론을 실행해야 합니다.

지금까지 찾은 유일한 옵션은 transformers 和 langchain 模块的组合，但我不想调整模型的超参数。我遇到了 ollama 소프트웨어를 사용하는 것인데 Python 라이브러리 외에는 클러스터에 아무것도 설치할 수 없습니다. 그래서 자연스럽게 LLM 추론을 실행하기 위한 옵션이 무엇인지 궁금했습니다. 아직 몇 가지 질문이 있습니다.

1. Linux 소프트웨어를 설치하지 않고 ollama-python 패키지만 설치할 수 있나요? 아니면 추론을 실행하려면 둘 다 필요합니까?
2. 이 클러스터에 설치하는 경우 ollama，如何为模型提供预训练权重？如果有帮助，它们存储在（有时多个）.bin 파일에

정답

실제로 ollama。相反，您可以直接本地运行 llm，例如 mistral모델

을 설치할 필요는 없습니다. 으아악

또는 falcon

을 위해 으아악

내 노트북에는 16g 메모리 nvidia 4090이 설치되어 있으며 위의 2개 모델을 로컬에서 실행할 수 있습니다.

위 내용은 사전 훈련된 가중치를 사용하여 로컬에서 LLM을 실행하는 옵션은 무엇입니까?의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!