yanghuahui's blog

摘要： # best way to see log file less +F /var/log/syslog (equals: less /var/log/syslog, then shift+f) # see dmesg when it changes watch -n 0.1 "dmesg | tail -n 30" # use xargs with find find . -type x... 阅读全文

摘要： 此defer非golang中的defer https://tour.golang.org/flowcontrol/12 这个代码是不会抛出exception的，twitter中defer主要用途是并发启动一些命令，不会相互block。 refer to: https://github.com/twi 阅读全文

摘要： generate a patch and apply a patch, refer to https://ariejan.net/2009/10/26/how-to-create-and-apply-a-patch-with-git/ 阅读全文

摘要： import java.util.concurrent.Callable; /** * Created by huahui.yang on 1/29/16. */ public class RetryWrapper<A> { public A retry(Callable<A> callable) 阅读全文

摘要： #!/usr/bin/python# 8th November, 2009# update manager failed, giving me the error:# 'files list file for package 'xxx' is missing final newline'... 阅读全文

摘要： 在YARN上开发长服务，需要注意fault-tolerance，本篇文章对appmaster的平滑重启的一个参数做了解析，如何设置可以有助于达到appmaster平滑重启。在yarn-site.xml有个参数/** * The maximum number of application atte... 阅读全文

摘要： 这边记录ubuntu安装过程，首先是官网文档If you haven’t already done so, log into your Ubuntu instance.Open a terminal window.Add the newgpgkey.$ apt-key adv --keyserver... 阅读全文

摘要： http://www.swiss-scalability.com/2014/12/install-hdp-22-on-ubuntu-1404-trusty.html在新加节点上运行sed -e "s/14.04/12.04/g" -i /etc/*-release 阅读全文

摘要： 问题：自己写了一个yarn上的application，发现nodemanager过段时间，会out of memory退出，把nodemanager的heap memory从1G增大到2G也是无法避免NM程序OOM开启NM的jmx监控-Dcom.sun.management.jmxremote -D... 阅读全文

摘要： 这篇文章是我来Hulu这一年做的主要工作，结合当下流行的两个开源方案Docker和YARN，提供了一套灵活的编程模型，目前支持DAG编程模型，将会支持长服务编程模型。基于Voidbox，开发者可以很容易的写出一个分布式的框架，Docker作为运行的执行引擎，YARN作为集群资源的管理系统。同时这篇文... 阅读全文