yanghuahui's blog

摘要： 1 Namespace用来做PID的隔离，有了namespace，在docker container里头看来，就是一个完整的linux的世界。在host看来，container里的进程，就是一个普通的host进程，namespace提供这种pid的映射和隔离效果，host承载着container，就... 阅读全文

摘要： 正常运行以下命令sudo docker run --rm busybox echo helloworld/var/log/upstart/docker.log 日志如下：2014/08/07 00:12:02 POST /v1.13/containers/create[339dd1d9] +job ... 阅读全文

摘要： 6月10号docker 1.0稳定版本发布，找了台ubuntu的机器，装了下ubuntu version:12.04docker version:1.0.0装docker的步骤可以看官方文档：https://docs.docker.com/installation/ubuntulinux/装好之后，... 阅读全文

摘要： 相比Java的MapReduce api，Pig为大型数据集的处理提供了更高层次的抽象，与MapReduce相比，Pig提供了更丰富的数据结构，一般都是多值和嵌套的数据结构。Pig还提供了一套更强大的数据变换操作，包括在MapReduce中被忽视的连接Join操作。Hadoop版本：2.2.0Pig... 阅读全文

摘要： Riak是以 Erlang 编写的一个高度可扩展的分布式数据存储，Riak的实现是基于Amazon的Dynamo论文，Riak的设计目标之一就是高可用。Riak支持多节点构建的系统，每次读写请求不需要集群内所有节点参与也能胜任。像这样的系统，我们需要版本机制来确定哪个值是最新的。所以就引入了向量时钟... 阅读全文

摘要： Hadoop YARN版本：2.2.0关于hadoop yarn的环境搭建可以参考这篇博文：Hadoop 2.0安装以及不停集群加datanodehadoop hdfs yarn伪分布式运行，有如下进程1320 DataNode1665 ResourceManager1771 NodeManager... 阅读全文

摘要： YARN总体上仍然是Master/Slave结构，在整个资源管理框架中，ResourceManager为Master，NodeManager为Slave，ResouceManager负责对各个NodeManager上的资源进行统一管理和调度。当用户提交一个应用程序时，需要提供一个用以跟踪和管理这个程... 阅读全文

摘要： YARN对内存资源和CPU资源采用了不同的资源隔离方案。对于内存资源，它是一种限制性资源，它的量的大小直接决定应用程序的死活，因为应用程序到达内存限制，会发生OOM，就会被杀死。CPU资源一般用Cgroups进行资源控制，Cgroups控制资源测试可以参见这篇博文Cgroups控制cpu，内存，io... 阅读全文

摘要： 一个集中的日志系统，第三方应用每次写日志，都需要发送一个远程的rpc或者http请求，造成写日志的延时比较大。改进的做法是：提供一个写日志调用包，第三方应用写日志时，先把日志缓存到一个线程安全的容器里，然后后台线程实时消费容器内的日志，如果有持久化的需求，就可以实时的把日志flush到文件中，然后再... 阅读全文

摘要： Hadoop2.0是对Hadoop1.0全面升级，针对Namenode单点问题，提出了HDFS Federation，让多个NameNode分管不同的目录进而实现访问隔离和横向扩展。诞生了通用的计算框架YARN，YARN系统的引入使得计算框架进入了平台化时代，从云计算分层概念上讲，YARN可看做PA... 阅读全文