摘要： 众所周知，Hadoop是一个spof系统，存在单点问题，长久以来对于单点的处理基本上是冷备，在今年三月份hadoop HA 方案终于完成，合并到0.23.0branch中，整理以下一些资料，进行学习。 首先是cloudera的官方bloghttp://www.cloudera.com/blog/2012/03/high-availability-for-the-hadoop-distributed-file-system-hdfs/ apache hdfs jirahttps://issues.apache.org/jira/browse/HDFS-1623https://issues... 阅读全文

摘要： 以后所有的代码会上传到github，方便管理。记录一下github的使用方法： 1、在https://github.com/ 上注册 2、在linux环境下生成公钥， ssh-keygen -t rsa 3、将公钥拷贝至github中，见下图，需要将公钥所有内容拷贝，不要添加任何东西 4、公钥拷贝成功后， 键入ssh -T git@github.com 会提示成功 5、在本机设置一些git基本属性git config --global user.name "username" git config --global user.email "useremail&qu 阅读全文

摘要： 做分布式系统时候，集群的部署，环境的配备是个麻烦的事情，打通集群算是其中比较基本的事情，也是十分重要的，相对于一台一台机器打通，如果使用脚本一次性打通集群内的所有机器，将会是十分美妙的事情。 打通集群的关键是两个问题，1、ssh加密的理解2、expect的使用。 关于这两方面的知识我在此不做解释，可以参见O'Reilly的相关书籍学习。今天分享一下我的关于集群打通的脚本。 前提：1、安装expect ，可以使用yum install expect 2、在下面脚本中首先要制定machine文件，表示集群中的所有机器名或IP，一行一个 下面是machine文件 192.168.0.5... 阅读全文

摘要： 编写expect脚本打通集群的时候，当把所有ssh文件夹分发后，从server机器登录其他机器的时候报错。错误为 Agent admitted failure to sign using the key. 解決方法： 使用 ssh-add 指令將私钥加进来（根据个人的密匙命名不同更改 id_rsa） # ssh-add~/.ssh/id_rsa 阅读全文

摘要： 总结一下，根据国外的博客，省得每次去查了。 安装好virtualbox后需要安装guest additions，步骤如下 1、yum -y update kernel 2、yum -y install kernel-devel kernel-headers dkms gcc gcc-c++ 3、安装guest additions，在安装过程中有可能提示缺少哪个包，按照提示安装即可 4、重启，成功。 阅读全文

摘要： 系统# uname -a # 查看内核/操作系统/CPU信息# head -n 1 /etc/issue # 查看操作系统版本# cat /proc/cpuinfo # 查看CPU信息# hostname # 查看计算机名# lspci -tv # 列出所有PCI设备# lsusb -tv # 列出所有USB设备# lsmod # 列出加载的内核模块# env # 查看环境变量资源# free -m ... 阅读全文

摘要： lsof-ppid 查找pid相关联的进程信息。 jstack pid 查看java线程运行情况 阅读全文

摘要： 先转贴一下网上的一篇说明： 语法：dd [选项] if =输入文件（或设备名称）。 of =输出文件（或设备名称）。 ibs = bytes 一次读取bytes字节，即读入缓冲区的字节数。 skip = blocks 跳过读入缓冲区开头的ibs*blocks块。 obs = bytes 一次写入bytes字节，即写入缓冲区的字节数。 bs = bytes 同时设置读/写缓冲区的字节数（等于设置ibs和obs）。 cbs = byte 一次转换bytes字节。 count=blocks 只拷贝输入的blocks块。 我使用的场景是生成一个1G的文件向集群put，并测试性能。 dd if=/... 阅读全文

摘要： git init 创建一个新的git repositorygit clone 从远程git status git库现在文件变化情况，可以用git status -s 比较方便阅读。git diff 去获取已经归纳进版本库的文件与内存中版本的变化，及没有git add 但是已经在库中的文件与内存中的版本变化git diff --cached 去获取已经git add与内存中的版本变化git diff HEAD 就是 git diff 加上 git diff --cachedgit add 纳入到版本库中git commit -m 提交到本地版本库中git commit -a 自动将... 阅读全文

摘要： console中会保留历史信息。按住ctrl + R可以进行搜索，键入搜索的单词就可以了。 阅读全文