在鸿蒙(OpenHarmony)与 Android 上部署 LLaMA.cpp 模型推理全流程(超详细)

手把手完成模型转换 → 交叉编译 → 设备部署,帮助OpenHarmonyAndroid双平台,面向 ARM64 真机。


目录

  1. 前言
  2. 环境准备
  3. 模型准备(GGUF)
  4. 鸿蒙交叉编译
  5. Android 交叉编译
  6. 推送至设备
  7. 运行推理
  8. 常见问题
  9. 结语

一、前言

把大模型跑在手机/鸿蒙板子上,只需llama.cpp + 交叉编译 + 推送运行三步。本文给出复制粘贴即可用的命令行。

二、环境准备

工具安装提示
cmakesudo apt install cmake
condaMiniconda
adb下载 platform-tools 并加入 PATH
NDK r25c下文提供直链
OpenHarmony SDK解压到 $HOME/ohos-sdk

推荐目录结构(后续命令全部基于此)

~/llama-deploy/
├── llama.cpp/                 # 源码
├── models/                    # GGUF 模型
│   ├── llama-7b-f16.gguf
│   └── llama-7b-q4_0.gguf
├── build-ohos/                # 鸿蒙构建
├─
posted on 2025-10-02 18:50  ycfenxi  阅读(23)  评论(0)    收藏  举报