摘要： 每次启动zookeeper后，都会打出一大堆日志blablabla的。查看了一下bin/zkServer.sh 启动脚本，为 java "-Dzookeeper.log.dir=${ZOO_LOG_DIR}" "-Dzookeeper.root.logger=${ZOO_LOG4J_PROP}" \ -cp "$CLASSPATH" $JVMFLAGS $ZOOMAIN "$ZOOCFG" & 说明启动java是在后台运行的subshell。但是还是有许多日志打出。于是，可以认为是java程序打出的日志，看 阅读全文

摘要： zookeeper有两种模式，一种是单机模式，一种是集群模式。 搭建单机模式比较简单，只需要添加conf/zoo.cfg文件。 tickTime=2000 dataDir=/home/yanhui.jy/zookeeper-3.3.3/data clientPort=2181 clientPort是client连接的port dataDir是zk中log和数据存储位置。 搭建集群模式，稍微复杂一点。修改zoo.cfg tickTime=2000 clientPort=2181 dataDir=/home/yanhui.jy/zookeeper-3.3.3/data initL... 阅读全文

摘要： 搞hadoop一段时间了，总的来说一些东西都是零零总总，没有形成一个系统总结一下，在今后的blog中，总结相关内容是将会是接下来的内容。 先从概述来讲一下hadoop hdfs的结构，hdfs由四部分组成，分别是1、Namenode(包括有INode，blockMap，FSNamesystem,FSDirectory等结构)；2、Datanode(Datanode,FSDataset等);3、Client(DFSClient,DistributeFileSystem等) 4、底层的IPC通信机制。 其中Namenode，Datanode以及Client都是通过IPC定义相关的proto... 阅读全文

摘要： java enum不太常用，但是作为一个重要的类型，会在很多开源项目中看到，总结一下。 enum 用来保存一系列常量，如每周的日子，太阳系的行星。简单的列子如下： public enum Day { SUNDAY,MONDAY,TUESDAY,THURSDAY,WEDNESDAY,FRIDAY } public class EnumTest { Day day; public EnumTest(Day day) { this.day = day; } public void tellMeWhey() { switch (day) { case MONDAY... 阅读全文

摘要： 当搭建玩集群后需要集群能够相互通信，通过ssh scp交互。下面记录一下简单的一些问题： 1、当机器A能够ping通机器B，但是无法ssh，解决方法如下：有可能提示no route to host (1)打开openssh， sudo /etc/init.d/sshd start (2)将防火墙关闭， sduo service iptables stop (3)再次连接，一般会成功。 2、通过ssh连接，去掉密码登录 (1)生成公钥私钥， ssh-keygen -t rsa 或者dsa，都可以，一路回车就好 (2)将公钥散发到想要无密码登录本机的机器中 (3)在其他机器中... 阅读全文

摘要： 一些常用的系统环境提取： 1、提取文件夹使用的大小： du du会显示所有文件和子文件夹的文件的大小。 常用参数是-s 只显示总大小，-h 显示方便阅读的格式。 如 du -s -h 结果是 3.8G ./。 2、读取系统内存状态：free free显示系统内存占用情况，常用参数是-m显示多少mega。 如free -m total used free shared buffers cached Mem: 993 914 78 0 114 375 -/+ buffers/cache: 425 568 Swap: 1983 19 1964 其中，total是总... 阅读全文

摘要： 参见这篇文章，http://tech.idv2.com/2008/01/09/bash-pitfalls/ 阅读全文

摘要： locate 用法： locate source 从database中去检查文件find 的用法： find ./ -name "*.java" -type f -size 1024k find 后面加 -exec 后，能够将找到的文件进行处理，使用时有可能由于语法错误报find: missing argument to `-exec' 正确的写法为：如find ./ -name "test" -exec grep "^jia.*" {} \; -exec 后面是"空格" command "空格& 阅读全文

摘要： 文件的读取： 可以通过descriptor来进行读取 如：exec 3<orders.txtexec 4>log.outwhile read LINE <&3 ; doprintf “%s\n” “$LINE” >&4done descriptor从3开始，0是标准输入，1是标注输出，2是标准错误输出。 descriptor的位置可以在/dev/fd中搞到。 当然也可以通过如下方式来读取文件：while read LINE ; doprintf “%s\n” “$LINE” >&4done<log.out cut的用法： cut -d 阅读全文

摘要： shell 脚本之间的同步： java中的同步比较简单，无外乎就是synchronize，lock，读写锁，condition之类的。shell脚本之间通过创建lock文件来同步。 如：declare -r INVOICES_LOCKFILE=”/var/lock/invoices_lock”while test ! -f “$INVOICES_LOCKFILE” ; doprintf “Waiting for invoices to be printed...\n”sleep 10donetouch “$INVOICES_LOCKFILE” 检查lock文件，如果不存在就生成loc... 阅读全文