人工智能训练师 学习手册

人工智能训练师 学习手册

安装包等资源摆渡已分享
ollama部署离线模式
解压
1 OLLAMA_INSTALL_DIR=/usr/local/
2 tar -xvf ollama.tgz -C "$OLLAMA_INSTALL_DIR"

配置systemctl
确保开启了 systemctl
1 apt-get install systemd -y
2 apt-get install systemctl -y
vim /etc/systemd/system/ollama.service
1 [Unit]
2 Description=Ollama Service
3 After=network-online.target
4
5 [Service]
6 ExecStart=/usr/local/bin/ollama serve
7 Restart=always
8 RestartSec=3
9 #自定义端口
10 Environment="HOME=/root"
11 Environment="OLLAMA_HOST=0.0.0.0:11434"
12 #代表让ollama能识别到第几张显卡
13 Environment="CUDA_VISIBLE_DEVICES=0,1"
14 #这几张卡均衡使用
15 Environment="OLLAMA_SCHED_SPREAD=1"
16 #模型一直加载, 不自动卸载
17 Environment="OLLAMA_KEEP_ALIVE=-1"
18 #配置跨域请求
19 Environment="OLLAMA_ORIGINS=*"
20 #配置OLLAMA的模型存放路径，默认路径是/usr/share/ollama/.ollama/models/
21 #Environment="OLLAMA_MODELS=/home/data/.ollama/models"
22
23 [Install]
24 WantedBy=default.target
启动
1 systemctl daemon-reload
2 systemctl start ollama
3 systemctl status ollama
4 journalctl -xb # 检查报错
5 systemctl stop ollama

维护命令
1 ## 启动Ollama服务
2 systemctl start ollama # 直接启动 ollama serve
3 ## 从模型文件创建模型
4 ollama create
5 ## 显示模型信息
6 ollama show
7 ## 运行模型
8 ollama run 模型名称
9 ## 从注册表中拉去模型
10 ollama pull 模型名称
11 ## 将模型推送到注册表
12 ollama push
13 ## 列出模型
14 ollama list
15 ## 复制模型
16 ollama cp
17 ## 删除模型
18 ollama rm 模型名称
19 ## 获取有关Ollama任何命令的帮助信息
20 ollama help
启动
systemctl start ollama

DEEPSEEK 安装
准备模型文件：

方式一：在线模式加载
ollama pull deepseek-r1:14b

方式二：离线模式gguf文件或者safetensors目录

DEEPSEEKFILE=/root/deepseek.gguf # 文件位置
如果是safetensors目录也是一样的，换成目录位置即可

vim /root/Modelfile 写入：
1 FROM /root/deepseek.gguf
2 TEMPLATE """{{- if .System }}{{ .System }}{{ end }}
3 {{- range $i, $_ := .Messages }}
4 {{- $last := eq (len (slice $.Messages $i)) 1}}
5 {{- if eq .Role "user" }}<｜User｜>{{ .Content }}
6 {{- else if eq .Role "assistant" }}<｜Assistant｜>{{ .Content }}{{- if not $last }}<｜end▁of▁sentence｜>{{- end }}
7 {{- end }}
8 {{- if and $last (ne .Role "assistant") }}<｜Assistant｜>{{- end }}
9 {{- end }}"""
10 PARAMETER stop <｜begin▁of▁sentence｜>
11 PARAMETER stop <｜end▁of▁sentence｜>
12 PARAMETER stop <｜User｜>
13 PARAMETER stop <｜Assistant｜>
ollama create deepseek-r1:14b -f /root/Modelfile

ollama list # 检查模型列表

MaxKB 安装和配置

安装
1
2 # 外网下载地址：
3 # https://cdn0-download-offline-installer.fit2cloud.com/maxkb/maxkb-v1.10.7-lts-offline.tar.gz?Expires=1747236667&OSSAccessKeyId=LTAI5tNm6eCXpZo6cgoJet2h&Signature=05ZILJI6O7bdkvNi0grMjDXh%2FGs%3D
4 tar -zxvf maxkb-v1.10.7-lts-offline.tar.gz
5
6 # 进入安装包解压缩后目录
7 cd maxkb-v1.10.7-lts-offline
8
9
10 # 检查环境
11 apt install iptables
12
13 # 执行安装命令
14 bash install.sh
登录
1 地址：http://:8080$IP
2 用户名：admin
3 默认密码：MaxKB@123..
维护
1 mkctl status
2 mkctl restart # 重启
对接 deepseek

加载知识库，

这里的文档格式 不确定会用什么

PDF、word、excel都要试，分段规则要掌握。

提示词参考
你是银行运管业务专家，仅依 据以下规则应答：
1️⃣ 强制知识边界

• 应答必须根据知识库
• 禁止任何推测性表述（如"应该"、"或许"）
  2️⃣ 三重验证流程
  ▸ 先确认问题类型，识别问题意图，提炼问题的关键词
  ▸ 通过关键字循环检索知识库中对应内容，找到最匹配的内容
  ▸ 根据从知识库找到的内容来整理答案
  3️⃣ 结构化输出格式
  ✓ 有效答案必须列出【知识库依据】，如果引用的上下文是来自于【运营管理（柜面业务操作流程）】，则输出格式还要加上【受理凭证资料】+【网点业务处理】
  ▸ 知识库内容缺失时响应：〚知识库中未包含该内容，建议到运管部业务咨询群中咨询〛

RagFlow 安装
安装docker

1 sudo apt update
2 curl -fsSL http://mirrors.aliyun.com/docker-ce/linux/ubuntu/gpg | sudo apt-key add -
3 apt install add-apt-repository
4 add-apt-repository "deb [arch=amd64] http://mirrors.aliyun.com/docker-ce/linux/ubuntu $(lsb_release -cs) stable"
5 apt-get install docker-ce docker-ce-cli containerd.io
6 usermod -aG docker $USER
7 systemctl start docker
8
9
安装docker-compose
1 wget https://github.com/docker/compose/releases/download/v2.16.0/docker-compose-linux-x86_64
2
3 mv docker-compose-linux-x86_64 /usr/local/bin/docker-compose
4 chmod +x /usr/local/bin/docker-compose
启动ragflow
1 cd ragflow/docker
2 cd docker
3 chmod +x ./entrypoint.sh
4 docker-compose -f docker-compose.yml up -d

提示词参考：
1 你是一名客服人员，用户只是和你随便聊聊而不是咨询相关问题，请表现的有好幽默热情且关心。

1 任务：请根据知识库内容回答问题。
2 要求和限制：
3 -当知识库所有内容都和问题无关时。，不要编造内容。
4 -回答需要考虑聊天记录
5 -当知识库无法回答他的问题时。请求客户的联系方式。例如微信，qq号手机号等。这样产品专家可以尽快联系他解决他的问题
6 知识库内容如下：
7 {inupt}
8 以上时知识库内容