饭随笔

导航

2016年11月17日 #

java -cp

摘要： java -cp /home/hdp/log4jTest/log4j-1.2.17.jar:/home/hdp/log4jTest/testLog.jar:/home/hdp/log4jTest/conf: test.TestLog 要执行test.TestLog类。 test是包名。 test.T 阅读全文

posted @ 2016-11-17 18:03 饭随笔 阅读(240) 评论(0) 推荐(0) 编辑

2016年11月15日 #

HBase预分区

摘要： seq 0 7 | awk '{printf("\\x%02x\\x%02x\n", $1/256, $1%256);}' | sort -R |head -3 create 'msgbox', '0', {SPLITS_FILE => 'splits.txt'} create 't', {NAME 阅读全文

posted @ 2016-11-15 16:54 饭随笔 阅读(250) 评论(0) 推荐(0) 编辑

2015年6月25日 #

hbase hbck修复集群状态

摘要： http://blackproof.iteye.com/blog/2052898 阅读全文

posted @ 2015-06-25 12:07 饭随笔 阅读(529) 评论(0) 推荐(0) 编辑

2015年5月20日 #

zookeeper集群管理配置优化总结

摘要： 1：默认jvm没有配置Xmx、Xms等信息，可以在conf目录下创建java.env文件export JVMFLAGS="-Xms512m -Xmx512m $JVMFLAGS"2：log4j配置，由于zk是通过nohup启动的，会有一个zookeeper.out日志文件，该文件中记录的是输出到... 阅读全文

posted @ 2015-05-20 14:04 饭随笔 阅读(7088) 评论(0) 推荐(0) 编辑

2015年4月29日 #

spark优化

摘要： spark.shuffle.consolidateFiles=false 默认是false，shuffle阶段不进行文件的合并，1000个map和1000个reduce将产生1000 000个文件。设置为true减少shuffle阶段产生的文件数量。storageLevel的选择，根据自己的业务进行... 阅读全文

posted @ 2015-04-29 14:53 饭随笔 阅读(190) 评论(0) 推荐(0) 编辑

2015年3月30日 #

spark配置lzo

摘要： spark1.0版本 spark-env.sh中export SPARK_LIBRARY_PATH=$SPARK_LIBRARY_PATH:/soft/hadoop/lzo/lib/export SPARK_CLASSPATH=$SPARK_CLASSPATH:/soft/server/spark-... 阅读全文

posted @ 2015-03-30 09:24 饭随笔 阅读(918) 评论(0) 推荐(0) 编辑

hadoop-2.2.0 的编译安装及HA配置

摘要： 准备工作中要求有 1.centOs 6.4，添加hadoop用户，配置集群内的/etc/hosts文件。 2.安装hadoop用户的ssh，并打通集群内所有机器，（ha执行fencing时会用到）。 3.下载社区版hadoop-2.2.0源码。 （编译hadoop 2.2.0所需要的软件可在此处下载 阅读全文

posted @ 2015-03-30 09:22 饭随笔 阅读(290) 评论(0) 推荐(0) 编辑

2015年3月24日 #

dscp hftp

摘要： http://blog.163.com/caipeipei_love@126/blog/static/25966032201142712856862/ 阅读全文

posted @ 2015-03-24 15:38 饭随笔 阅读(136) 评论(0) 推荐(0) 编辑

2014年11月19日 #

bind9+mysql dlz(Dynamically Loadable Zones)

摘要： yum install openssl openssl-develgroupadd mysqluseradd -g mysql -s /sbin/nologin -M mysqlchown -R mysql:mysql /usr/local/mysql./configure --prefix=/us... 阅读全文

posted @ 2014-11-19 16:58 饭随笔 阅读(1408) 评论(0) 推荐(0) 编辑

2014年11月17日 #

ulimit

摘要： centos 6之后 需要把这两个文件都改了。 设置 ulimit printf 'hadoop - nofile 65535\nhadoop - nproc 65535' >>/etc/security/limits.conf 也可以写命令设置： ulimit -n size 设置内核可以同时打开 阅读全文

posted @ 2014-11-17 16:08 饭随笔 阅读(479) 评论(0) 推荐(0) 编辑

下一页