在鸿蒙(OpenHarmony)与 Android 上部署 LLaMA.cpp 模型推理全流程(超详细)
手把手完成模型转换 → 交叉编译 → 设备部署,帮助OpenHarmony 与 Android双平台,面向 ARM64 真机。
目录
一、前言
把大模型跑在手机/鸿蒙板子上,只需llama.cpp + 交叉编译 + 推送运行三步。本文给出复制粘贴即可用的命令行。
二、环境准备
| 工具 | 安装提示 |
|---|---|
| cmake | sudo apt install cmake |
| conda | Miniconda |
| adb | 下载 platform-tools 并加入 PATH |
| NDK r25c | 下文提供直链 |
| OpenHarmony SDK | 解压到 $HOME/ohos-sdk |
推荐目录结构(后续命令全部基于此)
~/llama-deploy/
├── llama.cpp/ # 源码
├── models/ # GGUF 模型
│ ├── llama-7b-f16.gguf
│ └── llama-7b-q4_0.gguf
├── build-ohos/ # 鸿蒙构建
├─
浙公网安备 33010602011771号