02 2012 档案

zookeep集群搭建说明
摘要:zookeeper有两种模式,一种是单机模式,一种是集群模式。 搭建单机模式比较简单,只需要添加conf/zoo.cfg文件。 tickTime=2000 dataDir=/home/yanhui.jy/zookeeper-3.3.3/data clientPort=2181 clientPort是client连接的port dataDir是zk中log和数据存储位置。 搭建集群模式,稍微复杂一点。修改zoo.cfg tickTime=2000 clientPort=2181 dataDir=/home/yanhui.jy/zookeeper-3.3.3/data initL... 阅读全文

posted @ 2012-02-28 18:37 萌@宇 阅读(562) 评论(0) 推荐(0)

hadoop hdfs 总结(1)
摘要:搞hadoop一段时间了,总的来说一些东西都是零零总总,没有形成一个系统总结一下,在今后的blog中,总结相关内容是将会是接下来的内容。 先从概述来讲一下hadoop hdfs的结构,hdfs由四部分组成,分别是1、Namenode(包括有INode,blockMap,FSNamesystem,FSDirectory等结构);2、Datanode(Datanode,FSDataset等);3、Client(DFSClient,DistributeFileSystem等) 4、底层的IPC通信机制。 其中Namenode,Datanode以及Client都是通过IPC定义相关的proto... 阅读全文

posted @ 2012-02-27 00:08 萌@宇 阅读(233) 评论(0) 推荐(0)

java enmu 使用说明
摘要:java enum不太常用,但是作为一个重要的类型,会在很多开源项目中看到,总结一下。 enum 用来保存一系列常量,如每周的日子,太阳系的行星。简单的列子如下: public enum Day { SUNDAY,MONDAY,TUESDAY,THURSDAY,WEDNESDAY,FRIDAY } public class EnumTest { Day day; public EnumTest(Day day) { this.day = day; } public void tellMeWhey() { switch (day) { case MONDAY... 阅读全文

posted @ 2012-02-26 23:31 萌@宇 阅读(617) 评论(0) 推荐(0)

集群配置问题
摘要:当搭建玩集群后需要集群能够相互通信,通过ssh scp交互。下面记录一下简单的一些问题: 1、当机器A能够ping通机器B,但是无法ssh,解决方法如下:有可能提示no route to host (1)打开openssh, sudo /etc/init.d/sshd start (2)将防火墙关闭, sduo service iptables stop (3)再次连接,一般会成功。 2、通过ssh连接,去掉密码登录 (1)生成公钥私钥, ssh-keygen -t rsa 或者dsa,都可以,一路回车就好 (2)将公钥散发到想要无密码登录本机的机器中 (3)在其他机器中... 阅读全文

posted @ 2012-02-26 22:47 萌@宇 阅读(233) 评论(0) 推荐(0)

bash 学习笔记6
摘要:一些常用的系统环境提取: 1、提取文件夹使用的大小: du du会显示所有文件和子文件夹的文件的大小。 常用参数是-s 只显示总大小,-h 显示方便阅读的格式。 如 du -s -h 结果是 3.8G ./。 2、读取系统内存状态:free free显示系统内存占用情况,常用参数是-m显示多少mega。 如free -m total used free shared buffers cached Mem: 993 914 78 0 114 375 -/+ buffers/cache: 425 568 Swap: 1983 19 1964 其中,total是总... 阅读全文

posted @ 2012-02-26 17:10 萌@宇 阅读(187) 评论(0) 推荐(0)

bash pitfall
摘要:参见这篇文章,http://tech.idv2.com/2008/01/09/bash-pitfalls/ 阅读全文

posted @ 2012-02-25 09:16 萌@宇 阅读(165) 评论(0) 推荐(0)

bash 学习笔记5
摘要:locate 用法: locate source 从database中去检查文件find 的用法: find ./ -name "*.java" -type f -size 1024k find 后面加 -exec 后,能够将找到的文件进行处理,使用时有可能由于语法错误报find: missing argument to `-exec' 正确的写法为:如find ./ -name "test" -exec grep "^jia.*" {} \; -exec 后面是"空格" command "空格& 阅读全文

posted @ 2012-02-23 00:08 萌@宇 阅读(159) 评论(0) 推荐(0)

bash 学习笔记4
摘要:文件的读取: 可以通过descriptor来进行读取 如:exec 3<orders.txtexec 4>log.outwhile read LINE <&3 ; doprintf “%s\n” “$LINE” >&4done descriptor从3开始,0是标准输入,1是标注输出,2是标准错误输出。 descriptor的位置可以在/dev/fd中搞到。 当然也可以通过如下方式来读取文件:while read LINE ; doprintf “%s\n” “$LINE” >&4done<log.out cut的用法: cut -d 阅读全文

posted @ 2012-02-22 14:57 萌@宇 阅读(179) 评论(0) 推荐(0)

bash 学习笔记3
摘要:shell 脚本之间的同步: java中的同步比较简单,无外乎就是synchronize,lock,读写锁,condition之类的。shell脚本之间通过创建lock文件来同步。 如:declare -r INVOICES_LOCKFILE=”/var/lock/invoices_lock”while test ! -f “$INVOICES_LOCKFILE” ; doprintf “Waiting for invoices to be printed...\n”sleep 10donetouch “$INVOICES_LOCKFILE” 检查lock文件,如果不存在就生成loc... 阅读全文

posted @ 2012-02-22 14:15 萌@宇 阅读(143) 评论(0) 推荐(0)

bash 学习笔记2
摘要:大文件切分:fedoraspilt -b 10m sourceFile desPrefix小文件合并:cat sourceFile1 sourceFile2 ....>destFile 阅读全文

posted @ 2012-02-22 13:49 萌@宇 阅读(139) 评论(0) 推荐(0)

多机共用同一键盘鼠标
摘要:机器多了自然控制就麻烦了,要用不同的键盘,使用多个鼠标,十分不爽,还好有synergy,帮助我们摆脱这恼人的情形。 简单的说synergy做的就是将各个不同系统的机器通过安装synergy程序,使用client-server模式,来共享一个键盘鼠标。项目是开源的,主页是http://synergy-foss.org/。 下面说明一下使用说明: (1)首先从官网上下载对应系统的安装程序,windows很简单,直接安装就好。我的client使用的fedora 15,下载rpm包,在安装之前,需要安装qt依赖包,使用sudo yum install qt qt-x11 即可。 (2)启... 阅读全文

posted @ 2012-02-21 23:40 萌@宇 阅读(554) 评论(0) 推荐(0)

web.py 安装问题
摘要:搞python的web框架,通过python安装web.py报错,记录一下错误:File "setup.py", line 6, in ? from web import __version__ File "/home/yanhui.jy/webpy/web.py-0.36/web/__init__.py", line 27, in ? from application import * File "/home/yanhui.jy/webpy/web.py-0.36/web/application.py", line 639 SUFF 阅读全文

posted @ 2012-02-21 16:04 萌@宇 阅读(473) 评论(0) 推荐(0)

bash 学习笔记1
摘要:· ’ “ 的区别·即键盘左上角esc键下面。在bash中· ·中间的脚本会进行执行,同样的如$()也会执行内部的语句如line=`wc -l<deploy/master `会执行wc -l <deploy/master并把值赋给line变量。单引号和双引号的区别:单引号不会将引号内部的\"$进行解析。如上面的echo '$line',结果是$line双引号会将内部的\"$进行解析,上面的echo "$line"结果是文件正确行数。if的String test如下:if [ " 阅读全文

posted @ 2012-02-21 11:57 萌@宇 阅读(148) 评论(0) 推荐(0)

bash学习笔记
摘要:bash程序书写规范:1、The header2、Global declarations3、Sanity checks4、The main script5、Clean up 阅读全文

posted @ 2012-02-19 16:06 萌@宇 阅读(176) 评论(0) 推荐(0)

bash 中覆写当前处理的文件
摘要:工作中需要处理将大量的java文件中一个资源文件位置变更,编写一个简单的bash脚本,采用sed替换,但是采用sed 's//' test.java > test.java时候,test.java消失,查了一下,有一下的解决方法,采用tmp文件进行复写。#! /bin/bashwhile read linedo if grep "sessionTimeOut = conf.getInt(\"zookeeper.session.timeout\", 180000);" $line then echo $line match sed & 阅读全文

posted @ 2012-02-18 18:38 萌@宇 阅读(270) 评论(0) 推荐(0)

bash 中 while读取文件并通过 ssh执行命令出现的问题及解决方法
摘要:最近在做一些集群管理的简单脚本,其中有一部分是将文件中的机器名读取,并将应用通过scp传输,通过ssh解压部署。#! /bin/bashwhile read IPdoscp adfs-*.tar.gz $IP:~ssh $IP tar -zxf adfs-*.tar.gzdone<machine 一开始写了个简单的脚本,通过machine读取所有机器名,在进行操作。 可是运行以后发现,只有第一次循环成功运行,剩下的都没有运行。 google了一下,是由于bash中while循环调用ssh后会使用subshell,导致后续操作无法进行。 解决方法为在ssh上加参数-n,即可成功运行。... 阅读全文

posted @ 2012-02-16 14:37 萌@宇 阅读(677) 评论(0) 推荐(0)

导航