Heim >Technologie-Peripheriegeräte >KI >Stellen Sie große Sprachmodelle lokal auf 2 GB DAYU200 bereit
Portieren Sie das leichte LLM-Modellinferenz-Framework InferLLM auf das OpenHarmony-Standardsystem und kompilieren Sie eine Binärdatei, die auf OpenHarmony ausgeführt werden kann. Dieses Inferenz-Framework ist ein einfaches und effizientes LLM-CPU-Inferenz-Framework, das quantitative Modelle lokal in LLM bereitstellen kann.
Verwenden Sie OpenHarmony NDK, um die ausführbare InferLLM-Datei auf OpenHarmony zu kompilieren (verwenden Sie insbesondere das Cross-Compilation-Framework OpenHarmony Lycium und schreiben Sie dann einige Skripte. Speichern Sie es dann im tpc_c_cplusplusSIG-Warehouse.)
http://ci.openharmony.cn/workbench/cicd/dailybuild/dailyList
git clone https://gitee.com/openharmony-sig/tpc_c_cplusplus.git --depth=1
Laden Sie die Modelldatei herunter: https://huggingface.co/kewin4933/InferLLM-Model/tree/main
# 设置环境变量export OHOS_SDK=解压目录/ohos-sdk/linux# 请替换为你自己的解压目录 cd lycium./build.sh InferLLM
InferLLM-405d866e4c11b884a8072b4b30659c63555be41d/arm64-v8a-buildInferLLM-405d866e4c11b884a8072b4b30659c63555be41d/armeabi-v7a-build
Das obige ist der detaillierte Inhalt vonStellen Sie große Sprachmodelle lokal auf 2 GB DAYU200 bereit. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!