可将闲置安卓旧手机变为本地大模型推理终端：一、用Termux构建Linux环境；二、本地编译ARM适配的llama.cpp；三、下载校验Gemma 4 E4B模型及BF16 mmproj；四、启动OpenAI兼容API服务；五、配置后台保活。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜
如果您手头有一台闲置的安卓旧手机，希望将其转化为可运行大模型的本地推理终端，但受限于硬件性能与部署复杂度，则可能是由于缺少适配ARM架构的轻量化推理框架与模型组合。以下是实现该目标的具体路径：
一、Termux环境初始化与基础工具安装
此步骤旨在构建一个稳定、低资源占用且兼容老旧安卓系统的Linux命令行环境，为后续模型加载提供底层支撑。Termux v0.118或F-Droid最新版是首选，因其对Android 7.0+设备优化充分，内存占用可控，且完整支持pkg包管理与Python生态。
1、从F-Droid官网下载并安装Termux应用，避免使用Google Play中已停更的旧版本。
2、首次启动Termux后，执行更新命令：pkg update && pkg upgrade -y。
3、安装必要依赖：pkg install git cmake python curl wget -y。
4、为加速国内用户下载，替换APT源为清华镜像：sed -i 's@^\(deb.*stable main\)$@#\1\ndeb https://mirrors.tuna.tsinghua.edu.cn/termux/termux-packages-24 stable main@' $PREFIX/etc/apt/sources.list。
二、编译适配ARM的llama.cpp推理引擎
llama.cpp是当前在移动端运行大模型最成熟、最轻量的C++推理框架，其原生支持ARM64架构，并可通过量化显著降低内存与计算压力。直接使用预编译二进制可能因ABI或CPU特性不匹配而失败，因此必须在手机端本地编译以确保最大兼容性。
1、克隆官方仓库主分支：git clone https://github.com/ggerganov/llama.cpp。
2、进入目录并执行编译：cd llama.cpp && make clean && make -j$(nproc)。
3、验证编译结果：ls build/bin/llama-server，若输出存在则表示成功。
三、下载与校验Gemma 4 E4B多模态模型及BF16投影器
Gemma 4 E4B具备原生音频与图像理解能力，但其实现高度依赖专用多模态投影器（mmproj）。仅加载主模型将导致视觉/语音输入解析失败，输出为不可用乱码。投影器必须严格使用BF16精度版本，Q4/Q8量化会导致编码器失效。
1、创建模型存储目录：mkdir -p ~/models/gemma4。
大模型 Token 成本节约工具。在请求到达大模型之前自动压缩 prompt 和上下文，减少 60-95% 的 token 消耗，直接降低 API 成本。支持 Claude/OpenAI/Gemini 等主流模型，提供代理模式、CLI 包装、Python SDK 和 MCP Server 四种接入方式。内置一键安...
2、下载Q4_K_M Unsloth量化主模型（约4.3GB）：wget -O ~/models/gemma4/gemma-4-E4B-Q4_K_M.gguf https://huggingface.co/unsloth/gemma-4-E4B/resolve/main/gemma-4-E4B-Q4_K_M.gguf。
3、下载BF16精度mmproj文件（约900MB）：wget -O ~/models/gemma4/mmproj-gemma-4-E4B-BF16.gguf https://huggingface.co/unsloth/gemma-4-E4B/resolve/main/mmproj-gemma-4-E4B-BF16.gguf。
4、校验文件完整性（检查是否为非空且格式合法）：file ~/models/gemma4/*.gguf，应显示“LLaMA model”或“GGUF V3”标识。
四、启动本地大模型API服务
通过llama-server暴露OpenAI兼容接口，使旧手机成为可被其他设备调用的本地AI服务器。绑定0.0.0.0允许局域网内任意设备访问，端口设为8080便于调试，上下文长度设为8192可兼顾长文本理解与内存安全。
1、执行服务启动命令：./build/bin/llama-server -m ~/models/gemma4/gemma-4-E4B-Q4_K_M.gguf --mmproj ~/models/gemma4/mmproj-gemma-4-E4B-BF16.gguf --host 0.0.0.0 --port 8080 -c 8192。
2、确认服务监听状态：netstat -tuln | grep :8080，应显示LISTEN状态。
3、在PC或另一台设备上测试请求：curl -X POST http://[手机局域网IP]:8080/v1/chat/completions -H "Content-Type: application/json" -d '{"model":"gemma-4","messages":[{"role":"user","content":"你好"}]}'。
五、后台保活与长期运行配置
安卓系统默认会终止长时间后台运行的Termux进程，需通过系统级设置与脚本封装双重手段保障服务持续在线。此方案无需Root权限，适用于华为、小米、OPPO等主流国产机型。
1、在手机系统设置中关闭Termux电池优化：进入“设置 > 应用 > Termux > 电池 > 关闭‘智能省电’与‘自动管理’，启用‘允许后台活动’”。
2、创建守护脚本：echo '#!/data/data/com.termux/files/usr/bin/bash\nwhile true; do\n ./build/bin/llama-server -m ~/models/gemma4/gemma-4-E4B-Q4_K_M.gguf --mmproj ~/models/gemma4/mmproj-gemma-4-E4B-BF16.gguf --host 0.0.0.0 --port 8080 -c 8192\n sleep 5\ndone' > ~/run_gemma.sh。
3、赋予执行权限并后台运行：chmod +x ~/run_gemma.sh && nohup ~/run_gemma.sh > /dev/null 2>&1 &。
