摘要：
环境配置与维护 主要包括模型推理微调环境和前后端执行环境，以及在环境出现问题时的维护。 运行环境参数 操作系统：Ubuntu 18.04.6 LTS CPU：Intel(R) Xeon(R) Platinum 8362 CPU @ 2.80GHz GPU：NVIDIA GeForce RTX 309 阅读全文
posted @ 2024-06-24 13:47
yicheng_liu0219
阅读(113)
评论(0)
推荐(0)
摘要：
ChatGLM3-6B 简述 ChatGLM3-6B 是 ChatGLM 系列最新一代的开源模型，在保留了前两代模型对话流畅、部署门槛低等众多优秀特性的基础上，ChatGLM3-6B 引入了如下特性： 更强大的基础模型： ChatGLM3-6B 的基础模型 ChatGLM3-6B-Base 采用了更 阅读全文
posted @ 2024-06-24 12:41
yicheng_liu0219
阅读(552)
评论(0)
推荐(0)
摘要：
思路 由于我们项目的任务并不属于通用的自然语言处理任务，所以显然没有公开数据集，因而手工生成与模型生成相结合的方式或许是一个不错的选择。在不同的使用方式和任务情景下，我们曾经尝试了不同的数据集生成方式： # v1 import json import random train_f = True # 阅读全文
posted @ 2024-06-24 12:41
yicheng_liu0219
阅读(53)
评论(0)
推荐(0)
摘要：
测试脚本 PRE_SEQ_LEN=64 CHECKPOINT=dsbtpg-chatglm-6b-pt-64-2e-2 STEP=500 CUDA_VISIBLE_DEVICES=0 python3 main.py \ --do_predict \ --validation_file devVX.j 阅读全文
posted @ 2024-06-24 12:41
yicheng_liu0219
阅读(36)
评论(0)
推荐(0)
摘要：
训练脚本 PRE_SEQ_LEN=64 LR=2e-2 CUDA_VISIBLE_DEVICES=0 python3 main.py \ --do_train \ --train_file trainVX.json \ --validation_file devVX.json \ --prompt_ 阅读全文
posted @ 2024-06-24 12:41
yicheng_liu0219
阅读(50)
评论(0)
推荐(0)
摘要：
概述 模型量化作为一种能够有效减少模型大小，加速深度学习推理的优化技术，主要包含 8/4/2/1 bit等精度设置。在 8-bit 低精度推理中， 我们将一个原本 FP32 的 weight/activation 浮点数张量转化成一个 int8/uint8 张量，从而减少内存带宽和存储空间，并提高系 阅读全文
posted @ 2024-06-24 12:40
yicheng_liu0219
阅读(48)
评论(0)
推荐(0)
摘要：
Transformers Hugging Face Transformer提供了模型的加载、推理、微调接口，使用该库可以轻松完成自然语言模型的部署微调工作，其有继承自AutoClass的四个最为常见的接口，且调用方式均为AutoClass.from_pretrain("model_name")： A 阅读全文
posted @ 2024-06-24 12:40
yicheng_liu0219
阅读(232)
评论(0)
推荐(0)
摘要：
问题描述 多人访问服务器启动程序实例时可能产生端口占用的程序出错，可以使用netstat进行端口检测。 解决方案 第一步，下载netstat： apt install net-tools 第二步，使用netstat查询占用对应端口号的进程： netstat -anlpt | grep your_po 阅读全文
posted @ 2024-06-24 12:40
yicheng_liu0219
阅读(34)
评论(0)
推荐(0)
浙公网安备 33010602011771号