"Michael_Xu" - 博客园

2019年11月22日

摘要：之前发现几张图对于linux使用者有着较强的参考意义，下面对其进行简单备忘： # linux 静态信息查看工具 # linux 性能测试工具 benchmark # linux 性能观测工具 # linux 性能调优工具资源来源链接：http://www.brendangregg.com/linu 阅读全文

posted @ 2019-11-22 00:29 "Michael_Xu" 阅读(1868) 评论(0) 推荐(2)

2019年11月21日

ubuntu下需要补充安装 manpages手册; 安装linux 社区最新的linux manpages 文档；linux programmer's manual

摘要：使用man手册的方式，能大大加快开发速度，可能安装的时候有些安装不完整，下面结合网络上搜索信息进行补充： $ sudo apt-get install manpages $ sudo apt-get install manpages-dev $ sudo apt-get install manpag 阅读全文

posted @ 2019-11-21 18:53 "Michael_Xu" 阅读(1755) 评论(0) 推荐(0)

2019年11月20日

fuse3 编译相关简要记录与 fuse3 系统调优；

摘要：下面是在使用fuse3 编译bbfs 过程中一些参数，用于备忘： FUSE_CFLAGS="-I/usr/local/include/fuse3" FUSE_LIBS="-L/usr/local/lib/x86_64-linux-gnu -lfuse3 -lpthread -ldl" ./confi 阅读全文

posted @ 2019-11-20 01:17 "Michael_Xu" 阅读(1388) 评论(0) 推荐(0)

2019年11月18日

zip 命令使用记录

摘要：常常会用到 zip 命令，但是时间一长，就忘记了具体参数，下面简要记录，进行备忘：常用命令： zip -q -r nvprof_test_out.zip nvprof_test_out/ # 压缩参数解析：功能说明：压缩文件。语法：zip [-AcdDfFghjJKlLmoqrSTuvVw 阅读全文

posted @ 2019-11-18 15:48 "Michael_Xu" 阅读(466) 评论(0) 推荐(0)

nvprof 使用记录; 以及使用 nvprof 查看tensorflow-gpu 核函数运行记录

摘要：最近需要使用 nvprof 此时cuda 程序运行的性能，下面对使用过程进行简要记录，进行备忘：常用使用命令：nvprof --unified-memory-profiling off python run.py （这是因为某块内存被设置了不允许分析，导致）参考：https://docs.nvid 阅读全文

posted @ 2019-11-18 12:35 "Michael_Xu" 阅读(5666) 评论(0) 推荐(1)

benchmarks (主要用于分布式文件系统性能测试)

摘要：最近进行学习过程中，遇到一些可以用得上的benchmark，在这里进行简要记录：之后估计会用到 TensorFlow benchmarks https://github.com/tensorflow/benchmarks 文件系统测试工具整理 https://www.cnblogs.com/xuya 阅读全文

posted @ 2019-11-18 12:01 "Michael_Xu" 阅读(1457) 评论(0) 推荐(0)

ramfs 和 tmpfs 以及 ramdisk相关调研

摘要：最近需要使用到 ramfs 和 tmpfs 做内存文件系统，下面对这两个文件系统相关的信息，做一下总结：参考链接： https://www.thegeekstuff.com/2008/11/overview-of-ramfs-and-tmpfs-on-linux/ https://www.cnbl 阅读全文

posted @ 2019-11-18 10:06 "Michael_Xu" 阅读(691) 评论(0) 推荐(0)

2019年11月16日

.deb 包如何安装到指定目录; Ubuntu; Debian like;

摘要：有时候，我们没有root用户的时候，我们进行安装deb包就不能之间安装到系统之中了；为了方便，我们可以直接解压 dpkg -x same.deb .; 直接解压到当前目录，然后在配置环境变量，即可启动运行程序；当然，还有另外一个命令： dpkg -i --instdir=/dest/dir/pa 阅读全文

posted @ 2019-11-16 16:13 "Michael_Xu" 阅读(14778) 评论(2) 推荐(0)

alluxio 安装记录及相关信息

摘要：最近要尝试探究一下alluxio相关的知识，本博客进行对alluxio的安装过程进行备忘：单例安装过程： https://docs.alluxio.io/os/user/stable/cn/contributor/Contributor-Getting-Started.html （开发者指南） h 阅读全文

posted @ 2019-11-16 14:32 "Michael_Xu" 阅读(704) 评论(0) 推荐(0)

2019年11月15日

安装 openmpi 4.0 用于 horovod 编译

摘要：最近编译 horovod框架过程中，需要使用openmpi 4.0但是环境中的openmpi版本比较低，所以在手动安装openmpi4.0 用于编译，下面对过程进行简要记录，进行备忘： curl -O -L https://download.open-mpi.org/release/open-mpi 阅读全文

posted @ 2019-11-15 21:37 "Michael_Xu" 阅读(2058) 评论(0) 推荐(1)

gcc 4.9 编译安装 in Ubuntu 18.04（主要用于在无root权限下，进行更新系统 gcc 版本）gcc8 编译 CentOS 7 环境下成功；

摘要： gcc 4.9 编译安装教程，因为项目编译过程中，需要采用特定的gcc版本来进行编译，所以进行简要记录，进行备忘：下载：curl -O -L https://mirrors.tuna.tsinghua.edu.cn/gnu/gcc/gcc-4.9.0/gcc-4.9.0.tar.gz 解压：tar 阅读全文

posted @ 2019-11-15 20:26 "Michael_Xu" 阅读(1200) 评论(0) 推荐(0)

Horovod 分布式深度学习框架相关

摘要：最近需要 Horovod 相关的知识，在这里记录一下，进行备忘：分布式训练，分为数据并行和模型并行两种；模型并行：分布式系统中的不同GPU负责网络模型的不同部分。神经网络模型的不同网络层被分配到不同的GPU或者同一层内部的不同参数被分配到不同的GPU之上；数据并行：不同的GPU有同一个模型的多阅读全文

posted @ 2019-11-15 18:45 "Michael_Xu" 阅读(1834) 评论(0) 推荐(0)

2019年11月11日

COO 与 CSR 稀疏矩阵存取格式；

摘要：稀疏矩阵是指矩阵中元素大部分是0的矩阵，事实上，实际问题中大规模矩阵基本上是稀疏矩阵，很多稀疏度在90%甚至99%以上；因此我们需要有高效的稀疏矩阵存储格式。本文参考了 https://www.cnblogs.com/xbinworld/p/4273506.html 此文章，对coo 和 csr 阅读全文

posted @ 2019-11-11 16:31 "Michael_Xu" 阅读(2140) 评论(0) 推荐(0)

摘要：本文章主要是记录，cuda 编程过程中遇到的相关概念，名字解释和问题；主要是是用来备忘： cuda PTX ：并行线程执行（Parallel Thread eXecution，PTX）代码是编译后的GPU代码的一种中间形式，它可以再次编译为原生的GPU微码。下面几条链接，是对nvcc 编译过程中，阅读全文

posted @ 2019-11-11 12:31 "Michael_Xu" 阅读(787) 评论(0) 推荐(0)

2019年11月10日

tensorflow dataloader 相关内容

摘要： Tensorflow dataloader 相关调研；数据读取是训练的开始，是非常关键的一步；下面是调研时搜集到的一些相关链接：十图详解tensorflow数据读取机制 https://zhuanlan.zhihu.com/p/27238630 TensorFlow全新的数据读取方式：Datase 阅读全文

posted @ 2019-11-10 17:39 "Michael_Xu" 阅读(2059) 评论(0) 推荐(0)

公告