摘要：zookeeper有两种模式，一种是单机模式，一种是集群模式。 搭建单机模式比较简单，只需要添加conf/zoo.cfg文件。 tickTime=2000 dataDir=/home/yanhui.jy/zookeeper-3.3.3/data clientPort=2181 clientPort是client连接的port dataDir是zk中log和数据存储位置。 搭建集群模式，稍微复杂一点。修改zoo.cfg tickTime=2000 clientPort=2181 dataDir=/home/yanhui.jy/zookeeper-3.3.3/data initL... 阅读全文

摘要：搞hadoop一段时间了，总的来说一些东西都是零零总总，没有形成一个系统总结一下，在今后的blog中，总结相关内容是将会是接下来的内容。 先从概述来讲一下hadoop hdfs的结构，hdfs由四部分组成，分别是1、Namenode(包括有INode，blockMap，FSNamesystem,FSDirectory等结构)；2、Datanode(Datanode,FSDataset等);3、Client(DFSClient,DistributeFileSystem等) 4、底层的IPC通信机制。 其中Namenode，Datanode以及Client都是通过IPC定义相关的proto... 阅读全文

摘要：java enum不太常用，但是作为一个重要的类型，会在很多开源项目中看到，总结一下。 enum 用来保存一系列常量，如每周的日子，太阳系的行星。简单的列子如下： public enum Day { SUNDAY,MONDAY,TUESDAY,THURSDAY,WEDNESDAY,FRIDAY } public class EnumTest { Day day; public EnumTest(Day day) { this.day = day; } public void tellMeWhey() { switch (day) { case MONDAY... 阅读全文

摘要：当搭建玩集群后需要集群能够相互通信，通过ssh scp交互。下面记录一下简单的一些问题： 1、当机器A能够ping通机器B，但是无法ssh，解决方法如下：有可能提示no route to host (1)打开openssh， sudo /etc/init.d/sshd start (2)将防火墙关闭， sduo service iptables stop (3)再次连接，一般会成功。 2、通过ssh连接，去掉密码登录 (1)生成公钥私钥， ssh-keygen -t rsa 或者dsa，都可以，一路回车就好 (2)将公钥散发到想要无密码登录本机的机器中 (3)在其他机器中... 阅读全文

摘要：一些常用的系统环境提取： 1、提取文件夹使用的大小： du du会显示所有文件和子文件夹的文件的大小。 常用参数是-s 只显示总大小，-h 显示方便阅读的格式。 如 du -s -h 结果是 3.8G ./。 2、读取系统内存状态：free free显示系统内存占用情况，常用参数是-m显示多少mega。 如free -m total used free shared buffers cached Mem: 993 914 78 0 114 375 -/+ buffers/cache: 425 568 Swap: 1983 19 1964 其中，total是总... 阅读全文

摘要：参见这篇文章，http://tech.idv2.com/2008/01/09/bash-pitfalls/ 阅读全文

摘要：locate 用法： locate source 从database中去检查文件find 的用法： find ./ -name "*.java" -type f -size 1024k find 后面加 -exec 后，能够将找到的文件进行处理，使用时有可能由于语法错误报find: missing argument to `-exec' 正确的写法为：如find ./ -name "test" -exec grep "^jia.*" {} \; -exec 后面是"空格" command "空格& 阅读全文

摘要：文件的读取： 可以通过descriptor来进行读取 如：exec 3<orders.txtexec 4>log.outwhile read LINE <&3 ; doprintf “%s\n” “$LINE” >&4done descriptor从3开始，0是标准输入，1是标注输出，2是标准错误输出。 descriptor的位置可以在/dev/fd中搞到。 当然也可以通过如下方式来读取文件：while read LINE ; doprintf “%s\n” “$LINE” >&4done<log.out cut的用法： cut -d 阅读全文

摘要：shell 脚本之间的同步： java中的同步比较简单，无外乎就是synchronize，lock，读写锁，condition之类的。shell脚本之间通过创建lock文件来同步。 如：declare -r INVOICES_LOCKFILE=”/var/lock/invoices_lock”while test ! -f “$INVOICES_LOCKFILE” ; doprintf “Waiting for invoices to be printed...\n”sleep 10donetouch “$INVOICES_LOCKFILE” 检查lock文件，如果不存在就生成loc... 阅读全文

摘要：大文件切分：fedoraspilt -b 10m sourceFile desPrefix小文件合并：cat sourceFile1 sourceFile2 ....>destFile 阅读全文

摘要：机器多了自然控制就麻烦了，要用不同的键盘，使用多个鼠标，十分不爽，还好有synergy,帮助我们摆脱这恼人的情形。 简单的说synergy做的就是将各个不同系统的机器通过安装synergy程序，使用client-server模式，来共享一个键盘鼠标。项目是开源的，主页是http://synergy-foss.org/。 下面说明一下使用说明： （1）首先从官网上下载对应系统的安装程序，windows很简单，直接安装就好。我的client使用的fedora 15，下载rpm包，在安装之前，需要安装qt依赖包，使用sudo yum install qt qt-x11 即可。 （2）启... 阅读全文

摘要：搞python的web框架，通过python安装web.py报错，记录一下错误：File "setup.py", line 6, in ? from web import __version__ File "/home/yanhui.jy/webpy/web.py-0.36/web/__init__.py", line 27, in ? from application import * File "/home/yanhui.jy/webpy/web.py-0.36/web/application.py", line 639 SUFF 阅读全文

摘要：· ’ “ 的区别·即键盘左上角esc键下面。在bash中· ·中间的脚本会进行执行,同样的如$()也会执行内部的语句如line=`wc -l<deploy/master `会执行wc -l <deploy/master并把值赋给line变量。单引号和双引号的区别：单引号不会将引号内部的\"$进行解析。如上面的echo '$line'，结果是$line双引号会将内部的\"$进行解析，上面的echo "$line"结果是文件正确行数。if的String test如下：if [ " 阅读全文

摘要：bash程序书写规范：1、The header2、Global declarations3、Sanity checks4、The main script5、Clean up 阅读全文

摘要：工作中需要处理将大量的java文件中一个资源文件位置变更，编写一个简单的bash脚本，采用sed替换，但是采用sed 's//' test.java > test.java时候，test.java消失，查了一下，有一下的解决方法，采用tmp文件进行复写。#! /bin/bashwhile read linedo if grep "sessionTimeOut = conf.getInt(\"zookeeper.session.timeout\", 180000);" $line then echo $line match sed & 阅读全文

摘要：最近在做一些集群管理的简单脚本，其中有一部分是将文件中的机器名读取，并将应用通过scp传输，通过ssh解压部署。#! /bin/bashwhile read IPdoscp adfs-*.tar.gz $IP:~ssh $IP tar -zxf adfs-*.tar.gzdone<machine 一开始写了个简单的脚本，通过machine读取所有机器名，在进行操作。 可是运行以后发现，只有第一次循环成功运行，剩下的都没有运行。 google了一下，是由于bash中while循环调用ssh后会使用subshell，导致后续操作无法进行。 解决方法为在ssh上加参数-n，即可成功运行。... 阅读全文