大语言模型杂记
1.调用openai接口
import openai
if __name__ == '__main__':
print("-------------begin------------")
# 设置你的 API 密钥
openai.api_key = "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"
openai.api_base = "https://api.openai-proxy.com/v1"
model_engine = "text-davinci-003"
# # 使用 GPT-3 的 "davinci" 模型来生成文本
# response = openai.Completion.create(
# engine="text-davinci-003",
# # prompt="Translate the following English text to French: '{}'",
# prompt="1+1等于几",
# max_tokens=60
# # timeout=30
# )
#
# print(response)
while True:
prompt = input('请问您有什么问题？（输入 q 退出）\n')
if prompt == 'q':
break
completions = openai.Completion.create(
engine=model_engine,
prompt=prompt,
max_tokens=60,
n=1,
stop=None,
temperature=0.5,
)
message = completions.choices[0].text
print('答案：', message.strip())
2.Fine-tuning模型微调
参考官网：https://platform.openai.com/docs/guides/fine-tuning（需要FQ）
参考CSDN翻译官网：https://blog.csdn.net/pointdew/article/details/130072162
prompt,completion
你是谁,我是A
你叫什么,B
## 在pycharm terminal中输入
pip install --upgrade openai
export OPENAI_API_KEY="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"
export OPENAI_API_BASE="https://api.openai-proxy.com/v1"
openai tools fine_tunes.prepare_data -f test.csv
openai api fine_tunes.create -t ./test_prepared.jsonl -m davinci --n_epochs 10
openai api fine_tunes.follow -i ft-0eI5ODK3F7PJQRC1pmRKzGPO
openai api fine_tunes.list
prompt,completion
"任务A","扫地"
"任务B","做饭"
"任务C","洗衣服"
"今天的任务有任务A+任务B+任务C","今天需要扫地+做饭+洗衣服"
"今天的任务有任务A+任务B","今天需要扫地+做饭"
"今天的任务有任务A+任务C","今天需要扫地+洗衣服"
openai api models.delete -i <FINE_TUNED_MODEL>
openai api fine_tunes.create -t test.jsonl -m ada --suffix "custom model name"
## 报错缺少pandas库
pip install openai[datalib]
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple pandas
smokey
3.机器学习流程思考
- 数据标注，人工+软件给各种数据打上标签
- 通过python对数据标注过的数据，进行清洗加工，成语言模型框架能能识别训练集
- 使用框架，加载数据集，调整各类参数，进行训练
- 作验证，验证数据的正确性
4.FineTune数据集
- 利用gpt，创建如下数据集
- 利用数据集进行训练，并验证
5.生成建表语句
6.当下人工智能的核心点的思考
- 数据质量，通过数据清洗，标注等措施，准备高质量的数据
- 各种模型的使用以及调试，对模型的使用熟练度，调优的手段
- 人工智能的相关算法，在实际使用中，其实并不多
7.linux python搭建环境
1）下载安装
- 参考：https://blog.csdn.net/qq_44173974/article/details/125336916
- 安装目录:/home/fubo/anaconda3
## 地址配置这个，不然用不了
vim ~/.condarc
channels:
- https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
- https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
show_channel_urls: true
ssl_verify: true
allow_conda_downgrades: true
- pip地址配置这个，可以正常使用
2）管理解释器，创建全局三方库
3）创建项目
4）切入conda base环境
conda env list
conda info --env
conda create -n （虚拟环境名） python=（python的版本）
conda activate base
conda deactivate
conda create -n （新虚拟环境名） --clone （旧虚拟环境名）
conda remove –n （虚拟环境名） ––all ## 或者直接到~/anaconda3/env目录下删除对应环境文件
----------------
conda list
conda install （包名）
conda install （包名）=（版本）
conda remove （包名）
conda update （包名）
conda search （包名）
- pytorch安装：https://pytorch.org/get-started/locally/
conda install pytorch torchvision torchaudio cpuonly -c pytorch
5）问题
- 无法使用teminal命令：https://blog.csdn.net/vivi_029/article/details/125175635
- pip install requirements报错中断解决方式：https://blog.csdn.net/qq_25894535/article/details/129583329
- pycharm调用aconda环境：https://zhuanlan.zhihu.com/p/561960082
- 找不到polot模块：https://blog.csdn.net/oJinGangZuan/article/details/127203418
8.Python的____init____方法
9.python的@
参考：https://zhuanlan.zhihu.com/p/64487092
10.解决CPU/内存不足
python3 -m fastchat.model.apply_delta \
--base-model-path /home/fubo/MyCode/PycharmProjects/DB-GPT-main/models/llama-7b-hf \
--target-model-path /home/fubo/MyCode/PycharmProjects/DB-GPT-main/models/output/vicuna-7b-train \
--delta-path /home/fubo/MyCode/PycharmProjects/DB-GPT-main/models/vicuna-7b-delta-v1.1 \
--low-cpu-mem
参考：https://blog.csdn.net/weixin_43863869/article/details/130474768
--bash-model-path 表示第 3 步中下载的 llama-7b-hf 权重的存放地址；
--target-model-path 表示生成 Vicuna 权重的存放地址；
--delta-path 表示第 3 步中下载的 vicuna-7b-delta-v1.1 权重的存放地址；
参考：http://www.ppmy.cn/news/52215.html?action=onClick
--base-model-path 参数为转换后的模型位置，--target-model-path 表示最终模型输出的位置，--delta-path 参数表示下载的delta权重位置。
pip install --use-pep517 fschat==0.2.11 执行不起的话执行这个
python3 -m fastchat.model.apply_delta \
--base-model-path /home/fubo/MyCode/PycharmProjects/DB-GPT-main/models/vicuna-13b-base \
--target-model-path /home/fubo/MyCode/PycharmProjects/DB-GPT-main/models/vicuna-13b \
--delta-path /home/fubo/MyCode/PycharmProjects/DB-GPT-main/models/vicuna-13b-dela \ ## 下载的文件
--low-cpu-mem
python3 -m fastchat.model.apply_delta \
--base-model-path /home/fubo/MyCode/PycharmProjects/DB-GPT-main/models/vicuna-7b-base \
--target-model-path /home/fubo/MyCode/PycharmProjects/DB-GPT-main/models/vicuna-7b \
--delta-path /home/fubo/MyCode/PycharmProjects/DB-GPT-main/models/vicuna-7b-dela \
--low-cpu-mem
## 启动
python -m fastchat.serve.cli --model-path /home/fubo/MyCode/PycharmProjects/DB-GPT-main/models/vicuna-7b --device cpu --load-8bit
参考：https://blog.csdn.net/weixin_43863869/article/details/130474768
python3 -m fastchat.model.apply_delta \
--base-model-path llama-7b-hf_path \
--target-model-path vicuna-7b_path \
--delta-path vicuna-7b-delta-v1.1_path
--low-cpu-mem
11.FASTchart
12.FastChat/vicuna v1.1本地部署
参考：https://zhuanlan.zhihu.com/p/622020107?utm_id=0
参考：https://blog.csdn.net/alionsss/article/details/130027299
13.问题
The size of tensor a (32000) must match the size of tensor b (32001) at non-singleton dimension 0
解决：https://blog.csdn.net/bulucc/article/details/130490460
参考：http://wed.xjx100.cn/news/122588.html?action=onClick
14.conda/pip查看可安装包版本
参考：https://blog.csdn.net/qq_42283621/article/details/125842419
## 查看已经安装的依赖
pip freeze
15.conda环境下pip install 无法安装到指定conda环境中
参考：https://www.cnblogs.com/bigtreei/p/15094293.html
16.python打包环境的方法
参考：https://blog.csdn.net/qq_43648288/article/details/124890017
参考（可用）：https://blog.csdn.net/m0_46505453/article/details/128239585
conda pack -n dbgpt_env -o ./dbgpt_env.tar.gz --ignore-missing-files
浙公网安备 33010602011771号