我的空中楼阁

摘要：机器配置如下，两台机器,nn2,nn2,搭建基于QJM的高可用集群，zk集群。如果我在yarn-site.xml中配置的nodemanager的可用资源过少，其他配置如果不一致，那么就会造成提交的job,状态是Accepted,但是一直是unassigned,没有资源可以分配，所以就不能runnin... 阅读全文

摘要：The minimum allocation for every container request at the RM, in MBs. Memory requests lower than this won't take effect, and the specified value will... 阅读全文

摘要：hadoop container exit code: 1在执行hadoop的时候，发现nodemanager 进程日志里面有这个错误。网上搜索，一般找到的都是yarn classspath配置的问题，这个有可能是别人造成此错误的原因。exit code 1.应该是表示map or reduce 刚... 阅读全文

摘要：http://hortonworks.com/blog/multihoming-on-hadoop-yarn-clusters/https://hadoop.apache.org/docs/r2.6.0/hadoop-project-dist/hadoop-hdfs/HdfsMultihoming.... 阅读全文

摘要：症状：datanode进程还在，但是在web ui接口发现该节点已经被置为dead节点。监测datanode进程日志，开始时一直狂刷很忙，后来停止刷新日志。分析datanode进程日志，发现如下一些错误：datanode.DataNode: PacketResponder java.io.IOExc... 阅读全文

摘要：[转自uc技术博客：http://tech.uc.cn/?p=252]FC是要和NN一一对应的，两个NN就要部署两个FC。它负责监控NN的状态，并及时的把状态信息写入ZK。它通过一个独立线程周期性的调用NN上的一个 特定接口来获取NN的健康状态。FC也有选择谁作为Active NN的权利，因为最多只... 阅读全文

摘要：做系统运维的时候，我们经常需要同时在多台机器上执行相同的命令，这个时候可以使用类似pssh,pdsh的并行执行shell的工具。 当然，之前在没有使用这些工具之前，如果有ssh无密码互访，我们可以自己写for循环来执行，但是自己写的for循环是串行， pdsh是并发。 比如，当你接管一个新的大数据集群的时候，需要做的一件事情就是要熟悉所有的配置信息，以做到心中有数，在熟悉了主配置文件之后， ... 阅读全文

摘要：本周二的时候，涛哥找我，说明了一件事，在安装ganglia的时候，发生的一个问题。在一台suse 10 sp1的服务器上，安装ganglia的一个依赖包，libconfuse.rpm,安装完成之后，执行任何命令都会出现段错误的提示，而且无法再次ssh登录，也无法直接console登录。ssh登录，提... 阅读全文

摘要：brokers和消费者使用zk来获取状态信息和追踪消息坐标。 每一个partition是一个有序的，不可变的消息序列。 只有当partition里面的file置换到磁盘文件以后，才开放给消费者来消费。 每一个partition是跨服务器地被复制到其他地方，为了容错的目的。 这个partition可以 阅读全文

摘要：http://www.ibm.com/developerworks/cn/opensource/os-cn-kafka/index.html 消息队列 消息队列技术是分布式应用间交换信息的一种技术。消息队列可驻留在内存或磁盘上, 队列存储消息直到它们被应用程序读走。通过消息队列，应用程序可独立地执行--它们不需要知道彼此的位置、或在继续执行前不需要等待接收程序接收此消息。在分布式计算环境中，为... 阅读全文

摘要：python 有关字符串处理有哪些好用的方法？reverse len 字符串分割，合并？截取？查找？ find index join split unicode字符串的表示 """在字符串中的使用？ 字符数组 unicode_string = u'this is a unicode string' 字符串的正则表达式查找替换？ import re py... 阅读全文