摘要：
vllm-ascen实现双机推理Deepseek v3 阅读全文
posted @ 2025-12-22 21:42
badwood
阅读(15)
评论(0)
推荐(0)
摘要：
小智嵌入式设备（ESP32S3）智能体的MCP服务编写。 阅读全文
posted @ 2025-12-15 23:42
badwood
阅读(5)
评论(0)
推荐(0)
摘要：
使用vllm框架在Ascend上推理大模型，单机版本 阅读全文
posted @ 2025-12-12 15:48
badwood
阅读(48)
评论(0)
推荐(0)
摘要：
1、下载Arduino：官网：https://www.arduino.cc/en/software 2、安装ESP32开发板： 在线：先在arduino的设置中Additional boards manager URLs，可以填：https://espressif.github.io/arduino 阅读全文
posted @ 2025-12-03 12:47
badwood
阅读(18)
评论(0)
推荐(0)
摘要：
使用evalscope进行大模型测试-使用自定义数据集进行压测 阅读全文
posted @ 2025-11-16 22:51
badwood
阅读(106)
评论(0)
推荐(0)
摘要：
昇腾910b上用mindie推128k的deepseek。 阅读全文
posted @ 2025-10-11 16:43
badwood
阅读(49)
评论(0)
推荐(0)
摘要：
使用容器方式的xinference管理小模型，带鉴权、带本地模型加载 阅读全文
posted @ 2025-09-29 17:24
badwood
阅读(94)
评论(0)
推荐(0)
摘要：
离线安装docker、docker-compose 阅读全文
posted @ 2025-09-25 14:29
badwood
阅读(18)
评论(0)
推荐(0)
摘要：
使用evalscope进行大模型测试-压测基本使用方法 阅读全文
posted @ 2025-09-05 17:14
badwood
阅读(127)
评论(0)
推荐(0)
摘要：
通过lua脚本实现在nginx中无缝串接大模型围栏 阅读全文
posted @ 2025-08-20 10:21
badwood
阅读(20)
评论(0)
推荐(0)
摘要：
使用mindie部署私有化deepseek 671B W8A8版 阅读全文
posted @ 2025-07-08 16:12
badwood
阅读(257)
评论(1)
推荐(1)
摘要：
dify问题分类器的改造 阅读全文
posted @ 2025-05-29 13:23
badwood
阅读(1337)
评论(0)
推荐(0)
摘要：
整改dify内置nginx的基线 阅读全文
posted @ 2025-05-28 22:06
badwood
阅读(119)
评论(0)
推荐(0)
摘要：
dify填坑。内网装插件、使用.env、时区等 阅读全文
posted @ 2025-03-22 23:57
badwood
阅读(1432)
评论(0)
推荐(0)
摘要：
centos 7早已不被维护，大多数的源都失效了。找到一个： wget http://mirrors.aliyun.com/repo/Centos-altarch-7.repo -O /etc/yum.repos.d/CentOS-Base.repo 执行yum update -y 附：目前可用的： 阅读全文
posted @ 2025-03-06 09:16
badwood
阅读(22)
评论(0)
推荐(0)
摘要：
使用Triton+vLLM推大模型 阅读全文
posted @ 2025-01-09 17:07
badwood
阅读(339)
评论(0)
推荐(0)
摘要：
制作基于mindie的大模型推理镜像 阅读全文
posted @ 2024-12-20 10:39
badwood
阅读(884)
评论(0)
推荐(0)
摘要：
通过nginx做大模型负载，提高并发。 阅读全文
posted @ 2024-12-20 10:37
badwood
阅读(332)
评论(0)
推荐(0)
摘要：
ubuntu更新报错Hash Sum mismatch 阅读全文
posted @ 2024-10-06 17:14
badwood
阅读(115)
评论(0)
推荐(0)
摘要：
nvidia的工作模式问题，连带docker也无法启动 阅读全文
posted @ 2024-10-05 20:44
badwood
阅读(316)
评论(0)
推荐(0)
摘要：
升级gcc，顺利安装flash-attn 阅读全文
posted @ 2024-05-29 16:41
badwood
阅读(1845)
评论(0)
推荐(0)
摘要：
ng配置，支持websoket，支持根转发 阅读全文
posted @ 2024-05-16 21:49
badwood
阅读(325)
评论(0)
推荐(0)
摘要：
用openresty docker实现nginx + lua 阅读全文
posted @ 2024-05-15 22:50
badwood
阅读(213)
评论(0)
推荐(0)
摘要：
因nproc设置过小导致vllm加载大模型时卡在ray启动阶段 阅读全文
posted @ 2024-05-12 17:35
badwood
阅读(7020)
评论(3)
推荐(1)
摘要：
时区不一致导致spring应用异常 阅读全文
posted @ 2024-04-25 12:15
badwood
阅读(43)
评论(0)
推荐(0)
摘要：
通过git lfs从魔塔社区拉取模型，多快好省。 阅读全文
posted @ 2024-04-14 22:13
badwood
阅读(1882)
评论(0)
推荐(0)
浙公网安备 33010602011771号