2026年9月22日
使用 wrk2 压测 TensorRT-LLM (trtllm-serve) 实战
摘要： 使用 wrk2 压测 TensorRT-LLM (trtllm-serve) 实战记录 一、测试背景与目标 在完成 TensorRT-LLM 部署后，本次使用 wrk2 对 trtllm-serve 服务进行恒定速率压测。wrk2 是 wrk 的改进版，支持通过 -R 参数指定恒定请求速率，并修正了 阅读全文
posted @ 2026-09-22 10:00 xzy186 阅读(3) 评论(0) 推荐(0)
TensorRT-LLM 部署与性能压测实战
摘要： TensorRT-LLM 部署与性能压测实战记录（Qwen2.5-7B-Instruct） 一、测试背景与目标 在完成 vLLM 框架的性能压测后，本次转向 NVIDIA 官方推理框架 TensorRT-LLM，在 ModelScope 免费实例（A10 22GB 显存）上部署 Qwen2.5-7B 阅读全文
posted @ 2026-09-22 10:00 xzy186 阅读(3) 评论(0) 推荐(0)
使用 Vegeta 对 vLLM 大模型进行性能压测实战
摘要： 使用 Vegeta 对 vLLM 大模型进行性能压测实战记录 一、测试背景与目标 在之前使用 vllm bench serve 和 Locust 压测的基础上，本次引入 Vegeta 这一轻量级 HTTP 压测工具，针对 vLLM 部署的 Qwen2.5-7B-Instruct 模型进行性能测试。 阅读全文
posted @ 2026-09-22 09:57 xzy186 阅读(4) 评论(0) 推荐(0)
vLLM Bench Serve 压测实战记录
摘要： vLLM Bench Serve 压测实战记录（Qwen2.5-7B-Instruct） 一、测试背景与目标 本次测试基于 ModelScope 免费 GPU 实例，使用 vLLM 部署 Qwen2.5-7B-Instruct 模型，利用 vllm bench serve 工具，通过控制请求速率（R 阅读全文
posted @ 2026-09-22 09:55 xzy186 阅读(5) 评论(0) 推荐(0)
2026年9月17日
大模型推理服务性能测试实战：基于 vLLM + Locust 的压测指南与瓶颈分析
摘要： 前言 最近在调研大模型（LLM）推理服务的性能表现，想实际测试一下 vLLM 框架在不同并发和任务长度下的吞吐量、首字延迟（TTFT）和显存占用情况。正好手里有 ModelScope 提供的免费 GPU 实例，于是从零开始搭建了一套基于 vLLM + Locust 的压测环境。本文将完整记录环境部署 阅读全文
posted @ 2026-09-17 15:09 xzy186 阅读(15) 评论(0) 推荐(0)
2026年3月28日
Linux 端口映射管理脚本
摘要： Linux 端口映射管理脚本 使用方法：bash port_map.sh 点击查看代码 #!/bin/bash GREEN='\033[0;32m' YELLOW='\033[1;33m' RED='\033[0;31m' NC='\033[0m' if [ "$(id -u)" -ne 0 ]; 阅读全文
posted @ 2026-03-28 14:44 xzy186 阅读(18) 评论(0) 推荐(0)
2023年4月18日
CPU进程上下文切换、线程上下文切换、中断上下文切换的区别
摘要： 概念 ​ CPU 上下文切换指的是 CPU 从一个进程或线程切换到另一个进程或线程的次数。当 CPU 执行一个进程或线程时,会为其建立一个执行上下文(Context),当 CPU 切换到另一个进程或线程时,需要保存当前的上下文并建立新的上下文,这个过程就是上下文切换。 ​ 上下文切换会消耗一定的 C 阅读全文
posted @ 2023-04-18 17:15 xzy186 阅读(1602) 评论(0) 推荐(1)
2023年4月17日
查看dmesg.old带时间戳
摘要： command变量可以根据自己需要修改成其他命令，比如：dmesg，其实dmesg查看时间戳可以使用dmesg -T。 #!/bin/sh command=$(cat /var/log/dmesg.old | cut -d ']' -f1 --complement) uptime_ts=$(cat 阅读全文
posted @ 2023-04-17 15:55 xzy186 阅读(705) 评论(0) 推荐(0)
2022年10月21日
sed打印奇偶行（i=!i）
摘要： 前两天看到一个使用sed命令输出单双行的命令： 输出单数行： [root@node17 temp]# seq 10 | awk '(i=!i)' 1 3 5 7 9 输出双数行： [root@node17 temp]# seq 10 | awk '!(i=!i)' 2 4 6 8 10 为了搞明白这 阅读全文
posted @ 2022-10-21 17:17 xzy186 阅读(617) 评论(0) 推荐(0)
2022年7月21日
python3中的yield用法
摘要： yield跟return用法相似，yield返回迭代器，遍历返回的迭代器时，程序先截止于yield，下次遍历会接着上次程序同级继续运行，并在最后一次遍历不会在yield截止程序，会继续运行；return返回某个值，程序不再往下运行。 首先来看一段不含yield的代码： class yield_tes 阅读全文
posted @ 2022-07-21 11:03 xzy186 阅读(585) 评论(0) 推荐(0)
2022年6月8日
TrueNAS存储池简介
摘要： TrueNAS存储顺序为内存->缓存存储池->数据存储池。 一个存储池可以由多个Vdev组成，而Vdev可以有多种类型。 Vdev类型 Vdev有以下六种类型： 参考：Creating Pools | (truenas.com) 1、Data 基础Vdev，用于存储数据，一个存储池至少有一个Data 阅读全文
posted @ 2022-06-08 09:53 xzy186 阅读(8314) 评论(0) 推荐(0)
2022年4月28日
深入理解iostat（转载）
摘要： 前言 iostat算是比较重要的查看块设备运行状态的工具，相信大多数使用Linux的同学都用过这个工具，或者听说过这个工具。但是对于这个工具，引起的误解也是最多的，大多数人对这个工具处于朦朦胧胧的状态。现在我们由浅到深地介绍这个工具，它输出的含义什么，介绍它的能力边界，介绍关于这个工具的常见误解。 阅读全文
posted @ 2022-04-28 13:54 xzy186 阅读(633) 评论(0) 推荐(0)
debain 下使用cgroup2对磁盘带宽和内存进行限制
摘要： 最近在公司有个项目上要对磁盘进行限速，在centos上面使用cgroup v1接口对磁盘限速很正常，但是在debain下面怎么都不生效，只好放弃cgroup v1采用cgroup v2。 从Linux 4.5内核开始cgroup v2接口已经被标记为官方发布，意味着不再使用devel标签并且可以作为 阅读全文
posted @ 2022-04-28 13:48 xzy186 阅读(1435) 评论(0) 推荐(0)
同时使用cgroup1和cgroup2对系统资源进行限制
摘要： 1、编辑启动项： root@node115:~# vim.tiny /etc/default/grub 添加：GRUB_CMDLINE_LINUX="cgroup_no_v1=blkio" root@node115:~# update-grub root@node115:~# reboot 2、检查 阅读全文
posted @ 2022-04-28 11:13 xzy186 阅读(778) 评论(0) 推荐(0)
renameat2函数RENAME_EXCHANGE参数使用
摘要： renameat(2) NAME rename, renameat- change the name of a file SYNOPSIS #include <stdio.h> int rename(const char *old, const char *new); int renameat(in 阅读全文
posted @ 2022-04-28 10:13 xzy186 阅读(1600) 评论(0) 推荐(0)
下一页