在2GB DAYU200上本地部署大語言模型

實作想法與步驟

將輕量級LLM模型推理框架InferLLM移植到OpenHarmony標準系統，並編譯出可以在OpenHarmony上運行的二進位檔案。這個推理框架是一個簡單且有效率的LLM CPU推理框架，可以在本地部署LLM中的量化模型。

使用OpenHarmony NDK來編譯OpenHarmony上的InferLLM可執行檔（具體使用OpenHarmony lycium 交叉編譯框架,然後編寫一些腳本。然後把其存放在tpc_c_cplusplusSIG倉庫。)

在DAYU200上本地部署大語言模型

編譯取得InferLLM三方函式庫編譯產物

下載OpenHarmony sdk,下載位址：

http://ci.openharmony.cn/workbench/cicd/dailybuild/dailyList

下載本倉庫

##

git clone https://gitee.com/openharmony-sig/tpc_c_cplusplus.git --depth=1

# 设置环境变量export OHOS_SDK=解压目录/ohos-sdk/linux# 请替换为你自己的解压目录 cd lycium./build.sh InferLLM

##取得InferLLM三方庫頭檔及產生的庫 

##在tpc_c_cplusplus/thirdparty/InferLLM/目錄下會產生InferLLM-405d866e4c11b884a8072b4b30659c63555be41d目錄，該目錄下存在已編譯完成的32位元和64位元三方函式庫。 （相關編譯結果不會被打包進入lycium目錄下的usr目錄）。

InferLLM-405d866e4c11b884a8072b4b30659c63555be41d/arm64-v8a-buildInferLLM-405d866e4c11b884a8072b4b30659c63555be41d/armeabi-v7a-build

將編譯產物和模型檔案推送至開發板運行

• ##下載模型檔：https ://huggingface.co/kewin4933/InferLLM-Model/tree/main
• 將編譯InferLLM產生的llama執行檔、OpenHarmony sdk中的libc _shared.so、下載好的模型檔案chinese-alpaca-7b-q4.bin 打包成資料夾llama_file

# 将llama_file文件夹发送到开发板data目录hdc file send llama_file /data

# hdc shell 进入开发板执行cd data/llama_file# 在2GB的dayu200上加swap交换空间# 新建一个空的ram_ohos文件touch ram_ohos# 创建一个用于交换空间的文件（8GB大小的交换文件）fallocate -l 8G /data/ram_ohos# 设置文件权限，以确保所有用户可以读写该文件：chmod 777 /data/ram_ohos# 将文件设置为交换空间：mkswap /data/ram_ohos# 启用交换空间：swapon /data/ram_ohos# 设置库搜索路径export LD_LIBRARY_PATH=/data/llama_file:$LD_LIBRARY_PATH# 提升rk3568cpu频率# 查看 CPU 频率cat /sys/devices/system/cpu/cpu*/cpufreq/cpuinfo_cur_freq# 查看 CPU 可用频率（不同平台显示的可用频率会有所不同）cat /sys/devices/system/cpu/cpufreq/policy0/scaling_available_frequencies# 将 CPU 调频模式切换为用户空间模式，这意味着用户程序可以手动控制 CPU 的工作频率，而不是由系统自动管理。这样可以提供更大的灵活性和定制性，但需要注意合理调整频率以保持系统稳定性和性能。echo userspace > /sys/devices/system/cpu/cpufreq/policy0/scaling_governor# 设置rk3568 CPU 频率为1.9GHzecho 1992000 > /sys/devices/system/cpu/cpufreq/policy0/scaling_setspeed# 执行大语言模型chmod 777 llama./llama -m chinese-alpaca-7b-q4.bin -t 4

#移植InferLLM三方庫在OpenHarmmony設備rk3568上部署大語言模型實現人機對話。最後運作效果有些慢，跳出人機對話框也有些慢，請耐心等待。

以上是在2GB DAYU200上本地部署大語言模型的詳細內容。更多資訊請關注PHP中文網其他相關文章！