摘要：
最近做了一些和gnn相关的工作，经常听到GCN 和 embedding 相关技术，感觉很是困惑，所以写下此博客，对相关知识进行索引和记录： 参考链接： https://www.toutiao.com/a6690680620642730510/ graph embedding 技术学习 如何理解 Gr
阅读全文
posted @ 2019-11-28 00:56
"Michael_Xu"
阅读(2382)
推荐(0)
摘要：
# 定时刷新 nvidia-smi 显示的结果 nvidia-smi -l 1 # 以 1 秒的频率进行刷新 nvidia-smi -lms 1 #以 1 毫秒的频率进行刷新 #保持更新，更多内容请关注 cnblogs.com/xuyaowen; 相关链接： https://www.cnblogs.
阅读全文
posted @ 2019-11-25 15:26
"Michael_Xu"
阅读(2297)
推荐(0)
摘要：
watch 能间歇地执行程序，并将输出结果以全屏的方式显示，默认时2s执行一次； watch -n 5 ping -c 1 www.baidu.com # 进行循环5秒钟，发送一次ping包； 使用范例： To watch for mail, you might do watch -n 60 fro
阅读全文
posted @ 2019-11-25 15:16
"Michael_Xu"
阅读(895)
推荐(0)
摘要：
之前发现几张图对于linux使用者有着较强的参考意义，下面对其进行简单备忘： # linux 静态信息查看工具 # linux 性能测试工具 benchmark # linux 性能观测工具 # linux 性能调优工具 资源来源链接：http://www.brendangregg.com/linu
阅读全文
posted @ 2019-11-22 00:29
"Michael_Xu"
阅读(1856)
推荐(2)
摘要：
使用man手册的方式，能大大加快开发速度，可能安装的时候有些安装不完整，下面结合网络上搜索信息进行补充： $ sudo apt-get install manpages $ sudo apt-get install manpages-dev $ sudo apt-get install manpag
阅读全文
posted @ 2019-11-21 18:53
"Michael_Xu"
阅读(1739)
推荐(0)
摘要：
下面是在使用fuse3 编译bbfs 过程中一些参数，用于备忘： FUSE_CFLAGS="-I/usr/local/include/fuse3" FUSE_LIBS="-L/usr/local/lib/x86_64-linux-gnu -lfuse3 -lpthread -ldl" ./confi
阅读全文
posted @ 2019-11-20 01:17
"Michael_Xu"
阅读(1361)
推荐(0)
摘要：
常常会用到 zip 命令，但是时间一长，就忘记了具体参数，下面简要记录，进行备忘： 常用命令： zip -q -r nvprof_test_out.zip nvprof_test_out/ # 压缩 参数解析： 功能说明：压缩文件。 语 法：zip [-AcdDfFghjJKlLmoqrSTuvVw
阅读全文
posted @ 2019-11-18 15:48
"Michael_Xu"
阅读(448)
推荐(0)
摘要：
最近需要使用 nvprof 此时cuda 程序运行的性能，下面对使用过程进行简要记录，进行备忘： 常用使用命令：nvprof --unified-memory-profiling off python run.py （这是因为某块内存被设置了不允许分析，导致）参考：https://docs.nvid
阅读全文
posted @ 2019-11-18 12:35
"Michael_Xu"
阅读(5649)
推荐(1)
摘要：
最近进行学习过程中，遇到一些可以用得上的benchmark，在这里进行简要记录：之后估计会用到 TensorFlow benchmarks https://github.com/tensorflow/benchmarks 文件系统测试工具整理 https://www.cnblogs.com/xuya
阅读全文
posted @ 2019-11-18 12:01
"Michael_Xu"
阅读(1447)
推荐(0)
摘要：
最近需要使用到 ramfs 和 tmpfs 做内存文件系统，下面对这两个文件系统相关的信息，做一下总结： 参考链接： https://www.thegeekstuff.com/2008/11/overview-of-ramfs-and-tmpfs-on-linux/ https://www.cnbl
阅读全文
posted @ 2019-11-18 10:06
"Michael_Xu"
阅读(685)
推荐(0)
摘要：
有时候，我们没有root用户的时候，我们进行安装deb包就不能之间安装到系统之中了； 为了方便，我们可以直接解压 dpkg -x same.deb .; 直接解压到当前目录，然后在配置环境变量，即可启动运行程序； 当然，还有另外一个命令： dpkg -i --instdir=/dest/dir/pa
阅读全文
posted @ 2019-11-16 16:13
"Michael_Xu"
阅读(14696)
推荐(0)
摘要：
最近要尝试探究一下alluxio相关的知识，本博客进行对alluxio的安装过程进行备忘： 单例安装过程： https://docs.alluxio.io/os/user/stable/cn/contributor/Contributor-Getting-Started.html （开发者指南） h
阅读全文
posted @ 2019-11-16 14:32
"Michael_Xu"
阅读(691)
推荐(0)
摘要：
最近编译 horovod框架过程中，需要使用openmpi 4.0但是环境中的openmpi版本比较低，所以在手动安装openmpi4.0 用于编译，下面对过程进行简要记录，进行备忘： curl -O -L https://download.open-mpi.org/release/open-mpi
阅读全文
posted @ 2019-11-15 21:37
"Michael_Xu"
阅读(2045)
推荐(1)
摘要：
gcc 4.9 编译安装教程，因为项目编译过程中，需要采用特定的gcc版本来进行编译，所以进行简要记录，进行备忘： 下载：curl -O -L https://mirrors.tuna.tsinghua.edu.cn/gnu/gcc/gcc-4.9.0/gcc-4.9.0.tar.gz 解压：tar
阅读全文
posted @ 2019-11-15 20:26
"Michael_Xu"
阅读(1190)
推荐(0)
摘要：
最近需要 Horovod 相关的知识，在这里记录一下，进行备忘： 分布式训练，分为数据并行和模型并行两种； 模型并行：分布式系统中的不同GPU负责网络模型的不同部分。神经网络模型的不同网络层被分配到不同的GPU或者同一层内部的不同参数被分配到不同的GPU之上； 数据并行：不同的GPU有同一个模型的多
阅读全文
posted @ 2019-11-15 18:45
"Michael_Xu"
阅读(1818)
推荐(0)
摘要：
稀疏矩阵是指矩阵中元素大部分是0的矩阵，事实上，实际问题中大规模矩阵基本上是稀疏矩阵，很多稀疏度在90%甚至99%以上；因此我们需要有高效的稀疏矩阵存储格式。 本文参考了 https://www.cnblogs.com/xbinworld/p/4273506.html 此文章，对coo 和 csr
阅读全文
posted @ 2019-11-11 16:31
"Michael_Xu"
阅读(2109)
推荐(0)
摘要：
本文章主要是记录，cuda 编程过程中遇到的相关概念，名字解释和问题；主要是是用来备忘： cuda PTX ：并行线程执行（Parallel Thread eXecution，PTX）代码是编译后的GPU代码的一种中间形式，它可以再次编译为原生的GPU微码。 下面几条链接，是对nvcc 编译过程中，
阅读全文
posted @ 2019-11-11 12:31
"Michael_Xu"
阅读(770)
推荐(0)
摘要：
Tensorflow dataloader 相关调研；数据读取是训练的开始，是非常关键的一步；下面是调研时搜集到的一些相关链接： 十图详解tensorflow数据读取机制 https://zhuanlan.zhihu.com/p/27238630 TensorFlow全新的数据读取方式：Datase
阅读全文
posted @ 2019-11-10 17:39
"Michael_Xu"
阅读(2053)
推荐(0)
摘要：
今天，在集成z390芯片组的主板上，安装了一块m.2支持 sata协议的ssd时，发现安装上ssd后，之前机械硬盘不识别了；还以为机械硬盘烧了； 在网上查找相关博客可以发现，是M.2 SATA 和 SATA5,6 接口 共用通道的原因；换到1,2,3或4,通道就可以了；具体的依据，简单记录如下； 上
阅读全文
posted @ 2019-11-10 14:39
"Michael_Xu"
阅读(6241)
推荐(0)
摘要：
为了了解，上来先看几篇中文博客进行简单了解： 如何理解Nvidia英伟达的Multi-GPU多卡通信框架NCCL？(较为优秀的文章) 使用NCCL进行NVIDIA GPU卡之间的通信 （GPU卡通信模式测试） https://developer.nvidia.com/nccl (官方网站) http
阅读全文
posted @ 2019-11-09 18:26
"Michael_Xu"
阅读(4863)
推荐(0)
摘要：
什么是bazel https://docs.bazel.build/versions/master/bazel-overview.html 使用 bazel 构建 c++ 工程 https://github.com/bazelbuild/examples/tree/master/cpp-tutori
阅读全文
posted @ 2019-11-08 16:15
"Michael_Xu"
阅读(1516)
推荐(0)
摘要：
Makefile包含 目标文件、依赖文件、可运行命令三部分。 每部分的基本格式例如以下： test: prog.o code.o gcc -o test prog.o code.o 当中，第一行的test是目标文件。 prog.o、code.o是依赖文件； 第二行的gcc -o test prog.
阅读全文
posted @ 2019-11-05 23:42
"Michael_Xu"
阅读(382)
推荐(0)
摘要：
图片来源自网络，保持更新；更多内容请关注 cnblogs.com/xuyaowen 参考链接： https://zhuanlan.zhihu.com/p/39721251 http://blog.yufeng.info/archives/2293
阅读全文
posted @ 2019-11-05 00:06
"Michael_Xu"
阅读(700)
推荐(0)
摘要：
最近项目，需要创建一个 tensorflow 的一个自定义操作，用来加速tensorflow的处理效果；下面对创建过程中，遇到的问题和资源进行简要记录，进行备忘： OP 创建 参考链接： https://www.tensorflow.org/guide/create_op （官方教程） Tensor
阅读全文
posted @ 2019-11-04 15:18
"Michael_Xu"
阅读(725)
推荐(0)
摘要：
# 安装 2.7 环境conda create -n python2.7 python=2.7.17 conda activate python2.7 # 安装 1.1.0 gpu版本pip install tensorflow-gpu==1.1.0 # 配置环境变量export LD_LIBRAR
阅读全文
posted @ 2019-10-31 10:26
"Michael_Xu"
阅读(3584)
推荐(0)
摘要：
1）点乘（即“ * ”） 各个矩阵对应元素做乘法 若 w 为 m*1 的矩阵，x 为 m*n 的矩阵，那么通过点乘结果就会得到一个 m*n 的矩阵。 若 w 为 m*n 的矩阵，x 为 m*n 的矩阵，那么通过点乘结果就会得到一个 m*n 的矩阵。 w的列数只能为 1 或 与x的列数相等（即n），w
阅读全文
posted @ 2019-10-30 18:42
"Michael_Xu"
阅读(1660)
推荐(0)
摘要：
set 命令：命令将value数值存储在指定的key中； key：键值 key-value 结构中的 key，用于查找缓存值。 flags：可以包括键值对的整型参数，客户机使用它存储关于键值对的额外信息 。 exptime：在缓存中保存键值对的时间长度（以秒为单位，0 表示永远） bytes：在缓存
阅读全文
posted @ 2019-10-24 20:06
"Michael_Xu"
阅读(422)
推荐(0)
摘要：
有时候我们在测试配置外网IP是不是成功时，我们需要使用一些命令，使用 ssh 登录可以查看ip, 还有一种可以使用命令： 进行方便获取，公网IP；真的是非常好的服务； 保持更新，更多内容，请关注 cnblogs.com/xuyaowen;
阅读全文
posted @ 2019-10-23 15:12
"Michael_Xu"
阅读(1341)
推荐(0)
摘要：
最近需要使用 python3 多线程处理大型数据，顺道探究了一下，python3 的线程模型的情况，下面进行简要记录； 多线程运行的优点： 使用线程可以把程序中占用时间较长的任务放到后台去处理； 用户界面可以更加吸引人，并且不阻塞界面的运行； 程序运行的速度可以更快； 充分利用CPU多核的特征进行处
阅读全文
posted @ 2019-10-20 12:34
"Michael_Xu"
阅读(1266)
推荐(0)
摘要：
最近使用txt文件进行数据处理的时候，突然发现txt文件是怎样编码数据的了，它是以二进制来进行存储的吗？为了知道这个情况，我使用hexdump工具进行查看txt文件的二进制形式，并顺道进行学习了hexdump文件的使用： hexdump 一般用来查看“二进制”文件的十六进制编码，但实际上它能查看任何
阅读全文
posted @ 2019-10-18 19:59
"Michael_Xu"
阅读(3528)
推荐(0)
摘要：
当我按照这种情景使用时，出现了这种情况： 考虑着 gnome 桌面正在运行，可能是gnome-terminal 使用了工厂模式进行创建；查找gnome-terminal 文档，有如下解决方案： gnome-terminal --disable-factory 使用上述命令，即可使用转发访问 gnom
阅读全文
posted @ 2019-10-18 19:19
"Michael_Xu"
阅读(2507)
推荐(0)
摘要：
最近需要安装 numpy 的旧版本，发现不知道如何查看可以安装旧版本，解决方法在此进行记录： 然后找到你对应的版本进行安装就可以了； 保持更新，更多精彩内容，请关注 cnblogs.com/xuyaowen 参考链接： https://stackoverflow.com/questions/4888
阅读全文
posted @ 2019-10-18 10:25
"Michael_Xu"
阅读(34788)
推荐(4)
摘要：
Git 子模块操作相关的一些命令备忘： # 当使用git clone下来的工程中带有submodule时，初始的时候 submodule的内容并不会自动下载下来的，需执行如下命令； git submodule update --init --recursive (注意，此时会递归下载第三方模块)#
阅读全文
posted @ 2019-10-17 10:52
"Michael_Xu"
阅读(884)
推荐(0)
摘要：
本地所有文件： git rm --cached readme1.txt 删除readme1.txt的跟踪，并保留在本地。 git rm --f readme1.txt 删除readme1.txt的跟踪，并且删除本地文件。 文件夹： 如果是对所有文件都取消跟踪的话，就是 git rm -r --cac
阅读全文
posted @ 2019-10-16 22:57
"Michael_Xu"
阅读(586)
推荐(0)
摘要：
今天，需要再本地使用git管理代码，但是当代码创建好的时候，想发布到github上面的私有仓库中，但是没有提前创建远端仓库，所以需要把本地git仓库推送到远端另外一个仓库了，下面进行简要记录，刚刚经过的过程，方便之后再次使用的时候，不会重复劳动： git 设置 git config user.nam
阅读全文
posted @ 2019-10-16 22:20
"Michael_Xu"
阅读(514)
推荐(0)
摘要：
很多次配置git用户名和邮箱了，总是会忘记，然后在网络上搜索，今天进行记录下来，防止遗忘： # 查看用户名和邮箱地址（推荐使用，针对每个仓库使用，防止多人共用同一个账号，配置信息混乱的情况）git config user.name git config user.email # 修改用户名和邮箱地址
阅读全文
posted @ 2019-10-16 21:39
"Michael_Xu"
阅读(1582)
推荐(0)
摘要：
我们使用 linux 文件系统定义的文件属性，能够对linux文件系统进行进一步保护；从而给文件 赋予一些额外的限制；在有些情况下，能够对我们的系统提供保护； 该命令特定用于 linux extended filesystem (ext2, ext3, ext4)，是e2fsprogs 工具的一部分
阅读全文
posted @ 2019-10-16 18:13
"Michael_Xu"
阅读(758)
推荐(0)
摘要：
最近使用git 管理项目的时候，编译过程中出现了很多中间文件，今天发现使用 git clean 命令可以很方便进行清除： 保持更新，转载请注明出处；更多内容请访问 cnblogs.com/xuyaowen
阅读全文
posted @ 2019-10-14 18:00
"Michael_Xu"
阅读(11435)
推荐(1)
摘要：
假如当前存在的问题是： /bin/bazel 存在命令的版本为 0.18.0 /home/yaoxu/bin/bazel 存在的命令的版本为 0.10.0 我们应该如何配置环境变量，来确定执行哪个版本呢？ 通过我的实验，环境变量是逐层覆盖的，越在后面的环境变量优先级越高；如果系统中默认是 0.18.
阅读全文
posted @ 2019-10-14 15:05
"Michael_Xu"
阅读(1296)
推荐(0)
摘要：
在使用 python anaconda时，经常会用到很多常用操作，记录下来，方便以后更好地使用： conda: Conda既是一个包管理器又是一个环境管理器。你肯定知道包管理器，它可以帮你发现和查看包。但是如果当我们想要安装一个包，但是这个包只支持跟我们目前使用的python不同的版本时。你只需要几
阅读全文
posted @ 2019-10-14 13:37
"Michael_Xu"
阅读(2181)
推荐(0)
浙公网安备 33010602011771号