正文内容加载中...
posted @ 2018-07-13 12:27 yanghuahui 阅读(309) 评论(0) 编辑
摘要: 在写python多线程代码的时候,会用到multiprocessing这个包,这篇文章总结了一些这个包在多进程管理方面的一些原理和代码分析。 1. 问题一:是否需要显式调用pool的close和join方法,不调用的话,子进程是否无法退出? 首先初始化Pool的时候,指定processes的个数,就阅读全文
posted @ 2018-09-13 15:19 yanghuahui 阅读(151) 评论(2) 编辑
摘要: Reference 安装zsh,以及选择一种framework 'Oh My Zsh' https://sourabhbajaj.com/mac-setup/iTerm/zsh.html 然后推荐一些插件: 自动补齐command插件 https://github.com/zsh-users/zsh阅读全文
posted @ 2018-08-14 14:53 yanghuahui 阅读(27) 评论(0) 编辑
摘要: linux中有一个overcomit的配置,这个配置关系到进程在过多申请memory资源的时候,系统的表现(启发式允许,不检查,or 阻止) 详细的理解可以参见这个博客: http://linuxperf.com/?p=102 在实际项目中,如果机器是跑redis的一般都会把overcomit开成1阅读全文
posted @ 2018-08-14 11:35 yanghuahui 阅读(15) 评论(0) 编辑
摘要: 这篇文章涉及mesos如何在原生的mesoscontainerizer和docker containerizer上支持gpu的,以及如果自己实现一个mesos之上的framework capos支持gpu调度的实现原理,(capos是hulu内部的资源调度平台 refer to https://ww阅读全文
posted @ 2018-07-28 14:07 yanghuahui 阅读(41) 评论(0) 编辑
摘要: Hulu是美国领先的互联网专业视频服务平台,目前在美国拥有超过2000万付费用户。Hulu总部位于美国洛杉矶,北京办公室是仅次于总部的第二大研发中心,也是从Hulu成立伊始就具有重要战略地位的分支办公室,独立负责播放器开发,搜索和推荐,广告精准投放,大规模用户数据处理,视频内容基因分析,人脸识别,视阅读全文
posted @ 2018-07-13 12:27 yanghuahui 阅读(309) 评论(0) 编辑
摘要: 摘抄观点: 引用出处: Mysql 存储过程和函数区别 http://www.cnblogs.com/youxin/p/3568379.html MySQL存储过程_创建-调用-参数 http://www.cnblogs.com/geaozhang/p/6797357.html 存储过程在实际项目中阅读全文
posted @ 2018-05-24 22:22 yanghuahui 阅读(273) 评论(0) 编辑
摘要: 对象是包含行为的数据,闭包是包含数据的行为。 闭包就是能够读取其他函数内部变量的函数,也可以让内部的局部变量通过闭包暴露给外部函数,所以本质上闭包就是将函数内部和函数外部连接起来的一座桥梁。 一个介绍js函数式编程的gitbook https://llh911001.gitbooks.io/most阅读全文
posted @ 2018-05-15 23:18 yanghuahui 阅读(68) 评论(0) 编辑
摘要: 从调度上看,goroutine的调度开销远远小于线程调度开销。 OS的线程由OS内核调度,每隔几毫秒,一个硬件时钟中断发到CPU,CPU调用一个调度器内核函数。这个函数暂停当前正在运行的线程,把他的寄存器信息保存到内存中,查看线程列表并决定接下来运行哪一个线程,再从内存中恢复线程的注册表信息,最后继阅读全文
posted @ 2018-05-15 23:12 yanghuahui 阅读(464) 评论(1) 编辑
摘要: paxos paxos use in mesos http://mesos.apache.org/documentation/latest/replicated-log-internals/ zab use in zookeeper, zab v.s. paxos https://cwiki.apa阅读全文
posted @ 2016-12-18 19:09 yanghuahui 阅读(159) 评论(0) 编辑
摘要: # best way to see log file less +F /var/log/syslog (equals: less /var/log/syslog, then shift+f) # see dmesg when it changes watch -n 0.1 "dmesg | tail -n 30" # use xargs with find find . -type x...阅读全文
posted @ 2016-09-30 12:19 yanghuahui 阅读(86) 评论(0) 编辑