记录一下折腾llama2的过程

环境：

i3-8100，16G RAM，无显卡

ubuntu 18.04 LTS

以CPU方式运行

步骤：

主要参考的是

构建能够使用 CPU 运行的 MetaAI LLaMA2 中文大模型 - 苏洋博客 (soulteary.com)

1. 安装docker

2. 安装git lfs

ubuntu 18.04下的命令是apt install git-lfs

一开始用git lfs install命令报错了就没管，继续往下走，结果给自己挖了个大坑。模型文件不识别，最后发现是git clone等获取的bin文件需要git lfs支持获取真正文件内容，否则就是一个类似链接的文件。

3. 跳过convert的过程，直接从 https://huggingface.co/soulteary/Chinese-Llama-2-7b-ggml-q4  获取已经转换好的模型文件，在 soulteary/llama2:runtime 环境下运行。

4. 按文中给出的命令，执行./main 带一长串的参数，就可以跑起来了

实际体验：

可能是PC配置比较差，跑起来需要等待的时间比较久，对话的反应也比较慢，经常需要等几秒才有回复，有时候还会卡住。

基本对话没什么问题。后续打算用来做局域网内的doc和pdf文档处理，以及代码生成，还需要有个基础的web ui，有时间再继续折腾。