摘要:计算机系统领域中的一些大牛,时长看看他们的简历,才不会迷失方向:(排名不分先后) John Ousterhout https://web.stanford.edu/~ouster/cgi-bin/home.php Diego Ongaro https://ongardie.net/diego/ Ha 阅读全文
posted @ 2019-10-06 17:49 xuyaowen 阅读 (60) 评论 (0) 编辑
摘要:网络上面有有一些关于 资料分享和面试题目分享的项目很有趣,还有一些比较好的开源项目,我们能从其代码间获得不少启发,我在此博客简要记录,方便之后学习: coding-interview-university https://github.com/yaowenxu/coding-interview-un 阅读全文
posted @ 2019-07-28 16:53 xuyaowen 阅读 (100) 评论 (0) 编辑
摘要:文/李新龙 1. 先看综述,后看论著。看综述搞清概念,看论著掌握方法。 2. 早动手在师兄师姐离开之前学会关键技术。 3. 多数文章看摘要,少数文章看全文。掌握了一点查全文的技巧,往往会以搞到全文为乐,以至于没有时间看文章的内容,更不屑于看摘要。真正有用的全文并不多,过分追求全文是浪费,不可走极端。 阅读全文
posted @ 2019-07-28 16:47 xuyaowen 阅读 (71) 评论 (3) 编辑
摘要:有些知识值得我们学习很多遍: 计算机组成原理 计算机体系结构 计算机组成与设计 硬件/软件 接口 操作系统 - 重点 形式语言与自动机 编译原理 C/C++ (C++ 11) C++ 标准库 Java 虚拟机 Linux 内核 机器学习 分布式系统 文件系统 有些工具我们也需要了解了解: Tenso 阅读全文
posted @ 2019-03-18 21:18 xuyaowen 阅读 (88) 评论 (0) 编辑
摘要:有很多故事-想要多听几遍 大话西游-大圣娶亲 阿甘正传 怦然心动 肖申克的救赎 追梦赤子心 教父1,2,3 我是山姆 十月的天空 绿皮书 阅读全文
posted @ 2019-03-17 17:58 xuyaowen 阅读 (102) 评论 (0) 编辑
摘要:沉溺于「轻易获得高成就感」的事情:有意无意地寻求用很小付出获得很大「回报」的偏方,哪怕回报是虚拟的。这种行为会提升自己的「兴奋阈值」,让人越来越不容易拥有成就感,从而越来越依赖虚拟的成就感,陷入恶性循环。症状轻的:沉溺游戏(在虚拟世界中加快时间流逝的速度,使得「成功」来得更快)、种马小说(意淫人能轻 阅读全文
posted @ 2019-01-15 22:40 xuyaowen 阅读 (77) 评论 (0) 编辑
摘要:之前发现几张图对于linux使用者有着较强的参考意义,下面对其进行简单备忘: # linux 静态信息查看工具 # linux 性能测试工具 benchmark # linux 性能观测工具 # linux 性能调优工具 资源来源链接:http://www.brendangregg.com/linu 阅读全文
posted @ 2019-11-22 00:29 xuyaowen 阅读 (31) 评论 (0) 编辑
摘要:使用man手册的方式,能大大加快开发速度,可能安装的时候有些安装不完整,下面结合网络上搜索信息进行补充: $ sudo apt-get install manpages $ sudo apt-get install manpages-dev $ sudo apt-get install manpag 阅读全文
posted @ 2019-11-21 18:53 xuyaowen 阅读 (15) 评论 (0) 编辑
摘要:下面是在使用fuse3 编译bbfs 过程中一些参数,用于备忘: FUSE_CFLAGS="-I/usr/local/include/fuse3" FUSE_LIBS="-L/usr/local/lib/x86_64-linux-gnu -lfuse3 -lpthread -ldl" ./confi 阅读全文
posted @ 2019-11-20 01:17 xuyaowen 阅读 (16) 评论 (0) 编辑
摘要:常常会用到 zip 命令,但是时间一长,就忘记了具体参数,下面简要记录,进行备忘: 常用命令: zip -q -r nvprof_test_out.zip nvprof_test_out/ # 压缩 参数解析: 功能说明:压缩文件。 语 法:zip [-AcdDfFghjJKlLmoqrSTuvVw 阅读全文
posted @ 2019-11-18 15:48 xuyaowen 阅读 (22) 评论 (0) 编辑
摘要:最近需要使用 nvprof 此时cuda 程序运行的性能,下面对使用过程进行简要记录,进行备忘: 常用使用命令:nvprof --unified-memory-profiling off python run.py (这是因为某块内存被设置了不允许分析,导致)参考:https://docs.nvid 阅读全文
posted @ 2019-11-18 12:35 xuyaowen 阅读 (45) 评论 (0) 编辑
摘要:最近进行学习过程中,遇到一些可以用得上的benchmark,在这里进行简要记录:之后估计会用到 TensorFlow benchmarks https://github.com/tensorflow/benchmarks 文件系统测试工具整理 https://www.cnblogs.com/xuya 阅读全文
posted @ 2019-11-18 12:01 xuyaowen 阅读 (19) 评论 (0) 编辑
摘要:最近需要使用到 ramfs 和 tmpfs 做内存文件系统,下面对这两个文件系统相关的信息,做一下总结: 参考链接: https://www.thegeekstuff.com/2008/11/overview-of-ramfs-and-tmpfs-on-linux/ https://www.cnbl 阅读全文
posted @ 2019-11-18 10:06 xuyaowen 阅读 (27) 评论 (0) 编辑
摘要:有时候,我们没有root用户的时候,我们进行安装deb包就不能之间安装到系统之中了; 为了方便,我们可以直接解压 dpkg -x same.deb .; 直接解压到当前目录,然后在配置环境变量,即可启动运行程序; 当然,还有另外一个命令: dpkg -i --instdir=/dest/dir/pa 阅读全文
posted @ 2019-11-16 16:13 xuyaowen 阅读 (41) 评论 (0) 编辑
摘要:最近要尝试探究一下alluxio相关的知识,本博客进行对alluxio的安装过程进行备忘: 单例安装过程: https://docs.alluxio.io/os/user/stable/cn/contributor/Contributor-Getting-Started.html (开发者指南) h 阅读全文
posted @ 2019-11-16 14:32 xuyaowen 阅读 (28) 评论 (0) 编辑
摘要:最近编译 horovod框架过程中,需要使用openmpi 4.0但是环境中的openmpi版本比较低,所以在手动安装openmpi4.0 用于编译,下面对过程进行简要记录,进行备忘: curl -O -L https://download.open-mpi.org/release/open-mpi 阅读全文
posted @ 2019-11-15 21:37 xuyaowen 阅读 (22) 评论 (0) 编辑
摘要:gcc 4.9 编译安装教程,因为项目编译过程中,需要采用特定的gcc版本来进行编译,所以进行简要记录,进行备忘: 下载:curl -O -L https://mirrors.tuna.tsinghua.edu.cn/gnu/gcc/gcc-4.9.0/gcc-4.9.0.tar.gz 解压:tar 阅读全文
posted @ 2019-11-15 20:26 xuyaowen 阅读 (28) 评论 (0) 编辑
摘要:最近需要 Horovod 相关的知识,在这里记录一下,进行备忘: 分布式训练,分为数据并行和模型并行两种; 模型并行:分布式系统中的不同GPU负责网络模型的不同部分。神经网络模型的不同网络层被分配到不同的GPU或者同一层内部的不同参数被分配到不同的GPU之上; 数据并行:不同的GPU有同一个模型的多 阅读全文
posted @ 2019-11-15 18:45 xuyaowen 阅读 (33) 评论 (0) 编辑
摘要:稀疏矩阵是指矩阵中元素大部分是0的矩阵,事实上,实际问题中大规模矩阵基本上是稀疏矩阵,很多稀疏度在90%甚至99%以上;因此我们需要有高效的稀疏矩阵存储格式。 本文参考了 https://www.cnblogs.com/xbinworld/p/4273506.html 此文章,对coo 和 csr 阅读全文
posted @ 2019-11-11 16:31 xuyaowen 阅读 (23) 评论 (0) 编辑
摘要:本文章主要是记录,cuda 编程过程中遇到的相关概念,名字解释和问题;主要是是用来备忘: cuda PTX :并行线程执行(Parallel Thread eXecution,PTX)代码是编译后的GPU代码的一种中间形式,它可以再次编译为原生的GPU微码。 下面几条链接,是对nvcc 编译过程中, 阅读全文
posted @ 2019-11-11 12:31 xuyaowen 阅读 (48) 评论 (0) 编辑
摘要:Tensorflow dataloader 相关调研;数据读取是训练的开始,是非常关键的一步;下面是调研时搜集到的一些相关链接: 十图详解tensorflow数据读取机制 https://zhuanlan.zhihu.com/p/27238630 TensorFlow全新的数据读取方式:Datase 阅读全文
posted @ 2019-11-10 17:39 xuyaowen 阅读 (36) 评论 (0) 编辑