虚怀若谷

摘要： 环境：centos6.2 Hadoop2.2.0 hive0.12 hbase0.941>hadoop配好之后，跑任务老失败，yarn失败，报out of memory错误，然后怎么调整内存大小都不行，后来发现是can’t create new thread。解决：在vi /etc/security/limits.conf 添加hadoop - nofile 65535hadoop - nproc 655352>yarn运行错误:mapreduce.shuffle set in yarn.nodemanager.aux-services is invalidyarn.nodeman 阅读全文

摘要： Container launch failed for container_1385017085286_4943_01_000053 : org.apache.hadoop.yarn.exceptions.YarnException: Unauthorized request to start container. This token is expired. current time is 1386900106527 found 1386899991220 at sun.reflect.GeneratedConstructorAccessor20.newInstance(Unknown So 阅读全文

摘要： windows的share文件挂载到linux/mnt/share下，当windows重启，会导致df卡住。运行1umount -l /mnt/share2killall -9 df后恢复。 阅读全文

摘要： 范蠡和商祖白圭认为,时贱而买,虽贵已贱;时贵而卖,虽贱已贵。强调商人要善于捕捉商机,把握时机,不失时机地买进卖出。商业的利润源于买卖的差价。一旦发现买卖的时机一到,则要趋时若猛兽鸷鸟之发,当机立断。魏文侯时,国人注重农耕,而白圭却乐于观时机的变化。粮食丰收时他买进谷物,卖出丝漆。待蚕丝上市时他就大量 阅读全文

摘要： Compression就是在用CPU换IO吞吐量/磁盘空间，如果没有什么特殊原因推荐针对Column Family设置compression，下面主要有三种算法: GZIP, LZO, Snappy，作者推荐使用Snappy，因为它有较好的Encoding/Decoding速度和可以接受的压缩率。HBase comes with support for a number of compression algorithims that can be enabled at the column family level. Enabling compression is recommended un 阅读全文

摘要： linux中用shell获取昨天、明天或多天前的日期:在Linux中对man date -d 参数说的比较模糊,以下举例进一步说明:# -d, --date=STRING display time described by STRING, not `now’[root@Gman root]# date -d next-day +%Y%m%d #明天日期20091024[root@Gman root]# date -d last-day +%Y%m%d #昨天日期20091022[root@Gman root]# date -d yesterday +%Y%m%d #昨天日期20091022[r 阅读全文

摘要： link ：http://blog.csdn.net/sptoor/article/details/11523469distcp从ftp到hdfs拷贝文件：hadoop distcp ftp://fptuser:ftppassword@host/ftp/path/ hdfs://node:port1/hdfs/path/ 阅读全文

摘要： link：http://yahoon.blog.51cto.com/13184/200991目标ftp服务器是一个非标准端口的ftp1.通过shell登录#ftp//shell下输入ftp命令,进入到ftp提示符>open IPPORT//IP ,PORT对应为服务器的IP和端口号或者直接使用一条语句#ftpIPPORT2.多文件下载(对目录无效)如:下载目录下的所有文件(子目录是无法下载下来的)>mget *这样操作,下载每个文件都会提问,每次都要输入一个y要去掉提问,就要先输入>prompt off3.解决:ftp命令行不支持目录下载通过wget得到解决#wget ftp 阅读全文

摘要： link：http://www.netingcn.com/mysql-modifyunique-key.htmlmysql可以使用unique key来确保数据的准确性，unique key可以是一个字段，也可以是多个字段，对应已经存在的unique key如何修改呢？目前我使用的方法是分两步来完成，先drop掉，然后在创建。需要注意的是drop时关键字是“index”，而创建时关键词是“unique key”，命令如下：alter table table_name drop index `uk_name`;alter table table_name add unique key `new_ 阅读全文

摘要： link：http://dbua.iteye.com/blog/1633079yum -y install gcc+ gcc-c++yum -y install make下载protobuf-2.4.1.tar.gz：http://protobuf.googlecode.com/files/protobuf-2.4.1.tar.gz安装：tar zxvf protobuf-2.4.1.tar.gzcd protobuf-2.4.1./configuremakemake checkmake install安装结束。验证：查看是否安装成功：protoc --version如果出现：libproto 阅读全文