摘要：
使用evalscope进行大模型测试-使用自定义数据集进行压测 阅读全文
posted @ 2025-11-16 22:51
badwood
阅读(0)
评论(0)
推荐(0)
摘要：
昇腾910b上用mindie推128k的deepseek。 阅读全文
posted @ 2025-10-11 16:43
badwood
阅读(19)
评论(0)
推荐(0)
摘要：
使用容器方式的xinference管理小模型，带鉴权、带本地模型加载 阅读全文
posted @ 2025-09-29 17:24
badwood
阅读(57)
评论(0)
推荐(0)
摘要：
离线安装docker、docker-compose 阅读全文
posted @ 2025-09-25 14:29
badwood
阅读(13)
评论(0)
推荐(0)
摘要：
使用evalscope进行大模型测试-压测基本使用方法 阅读全文
posted @ 2025-09-05 17:14
badwood
阅读(63)
评论(0)
推荐(0)
摘要：
通过lua脚本实现在nginx中无缝串接大模型围栏 阅读全文
posted @ 2025-08-20 10:21
badwood
阅读(16)
评论(0)
推荐(0)
摘要：
使用mindie部署私有化deepseek 671B W8A8版 阅读全文
posted @ 2025-07-08 16:12
badwood
阅读(193)
评论(0)
推荐(0)
摘要：
dify问题分类器的改造 阅读全文
posted @ 2025-05-29 13:23
badwood
阅读(1116)
评论(0)
推荐(0)
摘要：
整改dify内置nginx的基线 阅读全文
posted @ 2025-05-28 22:06
badwood
阅读(97)
评论(0)
推荐(0)
摘要：
dify填坑。内网装插件、使用.env、时区等 阅读全文
posted @ 2025-03-22 23:57
badwood
阅读(1310)
评论(0)
推荐(0)
摘要：
centos 7早已不被维护，大多数的源都失效了。找到一个： wget http://mirrors.aliyun.com/repo/Centos-altarch-7.repo -O /etc/yum.repos.d/CentOS-Base.repo 执行yum update -y 附：目前可用的： 阅读全文
posted @ 2025-03-06 09:16
badwood
阅读(19)
评论(0)
推荐(0)
摘要：
使用Triton+vLLM推大模型 阅读全文
posted @ 2025-01-09 17:07
badwood
阅读(318)
评论(0)
推荐(0)
摘要：
制作基于mindie的大模型推理镜像 阅读全文
posted @ 2024-12-20 10:39
badwood
阅读(821)
评论(0)
推荐(0)
摘要：
通过nginx做大模型负载，提高并发。 阅读全文
posted @ 2024-12-20 10:37
badwood
阅读(311)
评论(0)
推荐(0)
摘要：
ubuntu更新报错Hash Sum mismatch 阅读全文
posted @ 2024-10-06 17:14
badwood
阅读(110)
评论(0)
推荐(0)
摘要：
nvidia的工作模式问题，连带docker也无法启动 阅读全文
posted @ 2024-10-05 20:44
badwood
阅读(297)
评论(0)
推荐(0)
摘要：
升级gcc，顺利安装flash-attn 阅读全文
posted @ 2024-05-29 16:41
badwood
阅读(1782)
评论(0)
推荐(0)
摘要：
ng配置，支持websoket，支持根转发 阅读全文
posted @ 2024-05-16 21:49
badwood
阅读(314)
评论(0)
推荐(0)
摘要：
用openresty docker实现nginx + lua 阅读全文
posted @ 2024-05-15 22:50
badwood
阅读(193)
评论(0)
推荐(0)
摘要：
因nproc设置过小导致vllm加载大模型时卡在ray启动阶段 阅读全文
posted @ 2024-05-12 17:35
badwood
阅读(6507)
评论(3)
推荐(1)
摘要：
时区不一致导致spring应用异常 阅读全文
posted @ 2024-04-25 12:15
badwood
阅读(34)
评论(0)
推荐(0)
摘要：
通过git lfs从魔塔社区拉取模型，多快好省。 阅读全文
posted @ 2024-04-14 22:13
badwood
阅读(1808)
评论(0)
推荐(0)
摘要：
私有化部署qwen72b 阅读全文
posted @ 2024-03-07 21:54
badwood
阅读(1911)
评论(0)
推荐(0)
摘要：
python虚拟环境 阅读全文
posted @ 2024-03-07 08:58
badwood
阅读(44)
评论(0)
推荐(0)
摘要：
尝试用脚本实现secureCRT中在登录后自动执行一些交互动作 阅读全文
posted @ 2024-02-21 17:47
badwood
阅读(448)
评论(0)
推荐(0)
摘要：
java编写opencl程序使用GPU进行计算 阅读全文
posted @ 2024-02-09 19:07
badwood
阅读(796)
评论(0)
推荐(0)
摘要：
删除python与yum的恢复 阅读全文
posted @ 2024-01-05 18:34
badwood
阅读(146)
评论(0)
推荐(0)
浙公网安备 33010602011771号