摘要：
问题描述 部署INT4量化版本的QWen1.5 7b模型时，最后出现了这样的报错： NameError: name ‘QuantizeConfig‘ is not defined 应该还是由于transformers、optimum和peft这几个库的版本不匹配造成的 解决： 参考：https:// 阅读全文
posted @ 2026-01-06 22:02
SaTsuki26681534
阅读(124)
评论(0)
推荐(0)
摘要：
问题描述 运行qwen1.5 7b autogptq的项目时，出现了这样的提示： A module that was compiled using NumPy 1.x cannot be run in NumPy 2.2.6 as it may crash. To support both 1.x 阅读全文
posted @ 2026-01-06 21:56
SaTsuki26681534
阅读(12)
评论(0)
推荐(0)
摘要：
过程描述 https://github.com/datawhalechina/self-llm/issues?page=1 按教程里的步骤，在autodl服务器上git官方代码库再安装 但是我这样试了之后会出现很多无法解决的报错 最常见的是： Building cuda extension requ 阅读全文
posted @ 2026-01-06 21:53
SaTsuki26681534
阅读(17)
评论(0)
推荐(0)
摘要：
问题描述 现在autodl应该会给你提供对应的链接，像这样： 但是这个链接打开是用不了的，多半会显示please wait 解决 使用之前autodl提供的代理工具 参考文献：https://blog.csdn.net/m0_56683961/article/details/140330830 下载 阅读全文
posted @ 2026-01-06 21:48
SaTsuki26681534
阅读(5)
评论(0)
推荐(0)
摘要：
添加学术代理： source /etc/network_turbo 取消代理： unset http_proxy && unset https_proxy 阅读全文
posted @ 2026-01-06 20:03
SaTsuki26681534
阅读(4)
评论(0)
推荐(0)
摘要：
KV-Cache（键值缓存）详解 KV-Cache 是 Transformer 模型在推理（生成）阶段 用于 加速自回归生成 的关键优化技术。让我为您详细解释： 一、核心概念 什么是 KV-Cache？ KV-Cache 是缓存 Key（键） 和 Value（值） 的机制，用于减少 Transfor 阅读全文
posted @ 2026-01-06 19:55
SaTsuki26681534
阅读(197)
评论(0)
推荐(0)
摘要：
https://zhuanlan.zhihu.com/p/648924115 阅读全文
posted @ 2026-01-06 19:51
SaTsuki26681534
阅读(7)
评论(0)
推荐(0)
浙公网安备 33010602011771号