05 2024 档案

flash-attn安装失败
摘要：升级gcc，顺利安装flash-attn 阅读全文
posted @ 2024-05-29 16:41 badwood 阅读(1832) 评论(0) 推荐(0)
配置nginx支持websocket
摘要：ng配置，支持websoket，支持根转发 阅读全文
posted @ 2024-05-16 21:49 badwood 阅读(321) 评论(0) 推荐(0)
openresty实现nginx+lua
摘要：用openresty docker实现nginx + lua 阅读全文
posted @ 2024-05-15 22:50 badwood 阅读(211) 评论(0) 推荐(0)
一个低级问题导致vLLM加载大模型时ray卡死
摘要：因nproc设置过小导致vllm加载大模型时卡在ray启动阶段 阅读全文
posted @ 2024-05-12 17:35 badwood 阅读(6927) 评论(3) 推荐(1)

Badwood's Blog