Cold_Chair的博客

摘要： 服务器上用 vllm 部署了多个 Qwen2.5-72B-Instruct 节点，都只支持单次推理，不支持批量推理。 要清洗数据，有上万个单轮请求，通过 GPT 写了一个简单的多线程批量推理脚本，基于线程锁，见下面： import openai import concurrent.futures i 阅读全文

摘要： 如题，无论怎么配置 rsa 的公钥和私钥那一套，都要输入密码才能登录。 一些新版本的 SSH 客户端默认可能会禁用或限制 rsa，在 config 里加入两行： HostKeyAlgorithms +ssh-rsa PubkeyAcceptedKeyTypes +ssh-rsa 这两行配置分别指定了 阅读全文

摘要： 完整问题： ValueError: You can't train a model that has been loaded with device_map='auto' in any distributed mode. Please rerun your script specifying --n 阅读全文

摘要： 我的 vscode 版本： January 2025 (version 1.97) 无论是在 remote-SSH 连接远程服务器时，还是本地编辑时，都会反复弹出： 我们卸载了“equinusocio.vsc-material-theme”，它被报告存在问题。 参考： https://github. 阅读全文

摘要： deepspeed 优化原理： 不是专门做优化的，只是使用的话，大致了解原理即可，参考： https://zhuanlan.zhihu.com/p/674745061 官网： https://github.com/microsoft/DeepSpeed 安装： 先安装 torch，再直接安装 dee 阅读全文

摘要： 参考： https://blog.csdn.net/huaanxiang/article/details/143687649 绝对导入： 标准库导入 假设有 a.py 这么写： import os 这个是从标准库导入。 当前文件目录导入 如果 a.py 的同级目录下有一个 b.py，b.py 中有 阅读全文

摘要： 参考： https://blog.csdn.net/weixin_39589455/article/details/135995424 https://github.com/keras-team/autokeras/issues/1475 引入环境变量： export LD_PRELOAD=$LD_ 阅读全文

摘要： 某些 LLM 需要 flash-attention 库来训练/推理，一些 LLM 可用可不用，但用了会快点。 flash attention 官网： https://github.com/Dao-AILab/flash-attention 检查版本： ldd --version 如果 < 2.32， 阅读全文

摘要： 最近发现一个 bug，新建一个 conda 的环境，pip list，会有一些不知道怎么来的 python 的包，似乎是另一个环境的。 最后发现原因是这个： 一开始在 base 环境下，pip install 些东西。 但是当前用户没有 base 环境的权限，就会默认安装到了.local下， 只要是 阅读全文

摘要： 在远程服务器上，如果不配置 proxy，可能下载扩展很慢，甚至 copilot 无法用。 设置中搜索 proxy： 注意这个代理是全局的，意味着所有应用都会走这个代理，jupyter 里面连接远程服务器时，也会走这个代理。 所以如果 jupyter 服务启动在内网，而这个代理没有把内网流量代理回内网 阅读全文