摘要: [RDMA] RDMA的不同操作是否保证顺序? 结论:不保证。 例子: 对同一个地址,连续进行READ和WRITE。READ返回的结果可能是WRITE之后的内容。 阅读全文
posted @ 2024-10-14 17:02 CQzhangyu 阅读(14) 评论(0) 推荐(0) 编辑
摘要: [DPDK] dumpcap报错EAL init failed: is primary process running?解决办法 问题 我写了一个DPDK程序,现在想要用DPDK自带的dpdk-dumpcap工具来抓包测试。根据官网描述,我们需要先启动我们的程序为主进程,然后启动dpdk-dumpc 阅读全文
posted @ 2024-09-10 17:05 CQzhangyu 阅读(108) 评论(0) 推荐(0) 编辑
摘要: Docker安装DPDK 参考:容器安装DPDK。 确认版本兼容性 我使用的是Mellanox-5网卡。为了确认支持的DPDK版本,请先确认自己的OFED和frimware版本。 查看firmware版本: $ ibstat CA 'mlx5_0' CA type: MT4119 Firmware 阅读全文
posted @ 2024-08-31 10:31 CQzhangyu 阅读(148) 评论(0) 推荐(0) 编辑
摘要: Mellanox网卡开启SR-IOV SR-IOV是网卡虚拟化的一个重要功能。本文讲介绍如何在Mellanox网卡上开启SR-IOV,并创建一些VF。 参考:Mellanox网卡开启SR-IOV方法简介-天翼云开发者社区 - 天翼云 (ctyun.cn) 在BIOS中开启IOMMU 先查看是否已经开 阅读全文
posted @ 2024-05-13 15:19 CQzhangyu 阅读(1206) 评论(0) 推荐(0) 编辑
摘要: [Mellanox] 安装MLNX_OFED 虽然已经安装过很多遍了,但是这里还是再次写一遍安装过程,方便以后查阅。 Mellanox的这堆东西其实每个安装起来都不难,难点在于版本要匹配。所以最重要的是我们要知道1.我们需要哪个版本的驱动;2.这些软件的版本对应关系。 查看当前的各种配置版本 MLN 阅读全文
posted @ 2024-05-12 17:28 CQzhangyu 阅读(2871) 评论(0) 推荐(0) 编辑
摘要: 参考资料: Quality of Service (QoS) - NVIDIA Docs 【RDMA】RoCE网络QoS|应用层设置PFC等级|Tos|Priority|TC_cma_roce_tos-CSDN博客 【RDMA】mellonx流控配置工具mlnx_qos|PFC-CSDN博客 前言 阅读全文
posted @ 2024-04-16 19:30 CQzhangyu 阅读(629) 评论(0) 推荐(0) 编辑
摘要: # [DPDK] rte_eth_dev_start()出现段错误 一天我运行DPDK时,它在`rte_eth_dev_start()`时发生段错误。 ``` Thread 1 "my_dpdk" received signal SIGSEGV, Segmentation fault. 0x0000 阅读全文
posted @ 2023-06-15 11:13 CQzhangyu 阅读(368) 评论(0) 推荐(1) 编辑
摘要: # [犯病记] DPDK报错Symbol `rte_eth_devices' has different size in shared object, consider re-linking > 背景:有一天,我犯了个病,试图在一个机器上安装DOCA,然后安装程序就下了一堆库,把机器上的环境搞得一团 阅读全文
posted @ 2023-05-28 00:10 CQzhangyu 阅读(365) 评论(0) 推荐(0) 编辑
摘要: [HiBench] 安装HiBench,测试在Spark上跑PageRank与修改源码测试 背景:我想在HiBench上测试在Spark上跑PageRank性能,并想要修改PageRank的源码进行测试。本来,HiBench在README里写的已经挺清楚的了,直接照着做就行。奈何我用的服务器没有珂学 阅读全文
posted @ 2023-05-06 15:39 CQzhangyu 阅读(219) 评论(0) 推荐(0) 编辑
摘要: [Hadoop] 在集群中安装Hadoop 类似的教程其实有很多,网上随便一搜就是一大把。这里简单的记录一下本人的安装过程,留给本人或者后人参考。 集群配置 内网互联的三台机器,IP分别为10.0.0.1,10.0.0.2,10.0.0.3。 我们的目标配置是让10.0.0.1做主节点,也就是mas 阅读全文
posted @ 2023-05-06 15:05 CQzhangyu 阅读(32) 评论(0) 推荐(0) 编辑
摘要: [CMake] 寻找一个链接库的所在路径 背景(可跳过) 由于之前犯病安装DOCA,导致我在编译DPDK时出现如下报错: fatal error: rxp-compiler.h: No such file or directory 这个rxp-compiler库并不是安装DPDK所必须的库,我用的集 阅读全文
posted @ 2023-04-27 21:52 CQzhangyu 阅读(407) 评论(0) 推荐(1) 编辑
摘要: # [犯病记] 重新安装libc.so.6 > 背景:有一天,我犯了个病,试图在一个机器上安装DOCA,然后安装程序就下了一堆库,把机器上的环境搞得一团糟,原来的DPDK也不能用了。DOCA的安装程序不仅重新安装了一大堆库,还更换了系统内核版本,修改了网卡配置,以及更换了网卡驱动(MLNX_OFED 阅读全文
posted @ 2023-04-27 21:29 CQzhangyu 阅读(1979) 评论(0) 推荐(0) 编辑
摘要: Linux切换内核版本 有些软件会对Linux内核的版本有要求。为此我们需要安装并切换到指定的内核版本。本文以5.4.0-26-generic为例。 参考:LayerStack Tutorials - LayerStack - How to change the default Boot Kerne 阅读全文
posted @ 2023-04-20 11:02 CQzhangyu 阅读(1926) 评论(0) 推荐(0) 编辑
摘要: [Mellanox] 安装MFT并配置网卡为以太网模式 当我们想要配置Mellanox网卡时,如果出现了下面情况: $ sudo mst start mst: command not found 这说明我们的系统中缺少MFT。 MFT是一套管理Mellanox网卡的工具,也是MLEX_OFED中的一 阅读全文
posted @ 2023-04-15 22:50 CQzhangyu 阅读(3153) 评论(0) 推荐(0) 编辑
摘要: [ssh] 本地访问远程服务器上的ui页面 问题:在我们使用某些系统(如Spark)时,系统本身会为我们提供一个ui界面,这个ui界面会默认开启在一个本地端口上(如localhost:8080)。通过这个ui界面,我们可以很方便地监视或者配置我们的系统。但是如果你的系统运行在远端的服务器上,你的服务 阅读全文
posted @ 2023-03-09 21:15 CQzhangyu 阅读(1074) 评论(1) 推荐(1) 编辑