麒麟os上运行ai大模型需根据架构选择安装方式:x86_64直接执行官方安装脚本;arm64需编译源码或使用docker;统一建议配置独立模型存储路径并拉取国产模型如qwen3:4b。

如果您在麒麟操作系统(Kylin OS)上希望本地运行AI大模型,但发现缺少Ollama运行环境,则可能是由于系统未预装Ollama或其依赖组件未就绪。以下是针对麒麟OS(V10SP3及后续版本,含ARM64/飞腾平台)安装Ollama并启用大模型的完整操作流程:
一、确认系统架构与基础依赖
麒麟OS存在x86_64与ARM64(如飞腾D2000、腾锐D3000)双架构版本,Ollama官方Linux二进制仅原生支持x86_64;ARM64需通过源码编译或使用适配镜像。本步骤用于识别当前环境并安装必要工具链。
1、打开终端,执行命令查看CPU架构:uname -m
2、若输出为aarch64,则需进入ARM64适配流程;若为x86_64,可直接进行标准安装。
3、安装基础依赖包(适用于麒麟V10SP3及以上):sudo apt update && sudo apt install -y curl wget gnupg ca-certificates
二、方法一:x86_64架构下直接安装Ollama官方二进制
该方法适用于搭载Intel/AMD处理器的麒麟桌面或服务器版,无需编译,下载即用,兼容性稳定。
1、执行一键下载并安装Ollama:curl -fsSL https://ollama.com/install.sh | sh
2、将ollama加入系统PATH(若未自动配置):echo 'export PATH=$PATH:/usr/bin' | sudo tee -a /etc/profile.d/ollama.sh && sudo chmod +x /etc/profile.d/ollama.sh
3、重启终端或执行source /etc/profile.d/ollama.sh使环境变量生效。
4、验证安装:ollama --version,成功将显示类似ollama version is 0.5.7的输出。
三、方法二:ARM64架构(飞腾/鲲鹏)源码编译安装
Ollama官方未发布ARM64预编译包,但其Go语言源码可在麒麟OS ARM64环境下编译运行,需确保Go环境已就绪。
1、安装Go 1.22+(麒麟OS默认源中可能版本过低):wget https://go.dev/dl/go1.22.4.linux-arm64.tar.gz && sudo rm -rf /usr/local/go && sudo tar -C /usr/local -xzf go1.22.4.linux-arm64.tar.gz
2、配置Go环境变量:echo 'export PATH=$PATH:/usr/local/go/bin' | sudo tee -a /etc/profile.d/golang.sh && source /etc/profile.d/golang.sh
3、克隆Ollama源码并编译:git clone https://github.com/ollama/ollama.git && cd ollama && make clean && make bin/ollama
4、安装至系统路径:sudo cp bin/ollama /usr/local/bin/
5、启动服务并验证:sudo systemctl enable ollama && sudo systemctl start ollama && ollama list
四、方法三:使用Docker容器方式部署(全架构通用)
当系统权限受限或需隔离运行时,可通过Docker运行Ollama官方镜像。该方案绕过架构限制,因Docker Desktop for Linux在麒麟OS中需手动启用cgroup v2与systemd集成。
1、启用cgroup v2并重启系统:sudo grubby --update-kernel=ALL --args="systemd.unified_cgroup_hierarchy=1"
2、安装Docker CE(麒麟OS适配版):sudo apt install -y docker-ce docker-ce-cli containerd.io
3、拉取并运行Ollama容器(映射11434端口):sudo docker run -d -v /home/kylin/ollama:/root/.ollama -p 11434:11434 --name ollama --restart always --gpus all ollama/ollama
4、验证容器内服务是否就绪:curl http://localhost:11434,返回{"status":"Ollama is running"}即成功。
五、配置模型存储路径与国产模型拉取
麒麟OS默认用户主目录位于/home/kylin,为避免系统盘空间占用过高,建议将Ollama模型库重定向至大容量分区(如/data/ollama)。
1、创建模型存储目录:sudo mkdir -p /data/ollama && sudo chown -R kylin:kylin /data/ollama
2、设置环境变量指向新路径:echo 'export OLLAMA_MODELS=/data/ollama' | tee -a ~/.bashrc && source ~/.bashrc
3、拉取国产适配模型(以Qwen3为例):ollama pull qwen3:4b
4、运行模型测试响应:ollama run qwen3:4b "你好,你是谁?"










