摘要：link：http://www.minunix.com/2013/04/linux-mount-samba/http://my.oschina.net/laopiao/blog/161648最近遇到一个问题,新装的两台服务器死活就是挂载不上samba服务器上的文件,在输入mount挂载命令的时候提示只读什么的,尝试了在挂载的时候用只读的方式去挂载也是不行,最终发现了,缺少安装cifs包,出错提示如下:123# mount -t cifs //192.168.1.177/data /data -o username=minunixmount: block device //192.168.1.1 阅读全文

摘要：很奇怪的问题，程序在eclipse上跑没问题；这就代码：FileSystem fs = FileSystem.get(URI.create(hdfs_file), conf , "user");在centos上跑就出错了| PriviledgedActionException as: (auth:SIMPLE) cause:java.io.IOException: No FileSystem for scheme: hdfsINFO | jvm 1 | 2013/12/25 15:35:54 | Error:Commit Worker Task:5: ProcessComm 阅读全文

摘要：环境：centos6.2 Hadoop2.2.0 hive0.12 hbase0.941>hadoop配好之后，跑任务老失败，yarn失败，报out of memory错误，然后怎么调整内存大小都不行，后来发现是can’t create new thread。解决：在vi /etc/security/limits.conf 添加hadoop - nofile 65535hadoop - nproc 655352>yarn运行错误:mapreduce.shuffle set in yarn.nodemanager.aux-services is invalidyarn.nodeman 阅读全文

摘要：Container launch failed for container_1385017085286_4943_01_000053 : org.apache.hadoop.yarn.exceptions.YarnException: Unauthorized request to start container. This token is expired. current time is 1386900106527 found 1386899991220 at sun.reflect.GeneratedConstructorAccessor20.newInstance(Unknown So 阅读全文

摘要：windows的share文件挂载到linux/mnt/share下，当windows重启，会导致df卡住。运行1umount -l /mnt/share2killall -9 df后恢复。 阅读全文

摘要：范蠡和商祖白圭认为,时贱而买,虽贵已贱;时贵而卖,虽贱已贵。强调商人要善于捕捉商机,把握时机,不失时机地买进卖出。商业的利润源于买卖的差价。一旦发现买卖的时机一到,则要趋时若猛兽鸷鸟之发,当机立断。魏文侯时,国人注重农耕,而白圭却乐于观时机的变化。粮食丰收时他买进谷物,卖出丝漆。待蚕丝上市时他就大量 阅读全文

摘要：Compression就是在用CPU换IO吞吐量/磁盘空间，如果没有什么特殊原因推荐针对Column Family设置compression，下面主要有三种算法: GZIP, LZO, Snappy，作者推荐使用Snappy，因为它有较好的Encoding/Decoding速度和可以接受的压缩率。HBase comes with support for a number of compression algorithims that can be enabled at the column family level. Enabling compression is recommended un 阅读全文

摘要：linux中用shell获取昨天、明天或多天前的日期:在Linux中对man date -d 参数说的比较模糊,以下举例进一步说明:# -d, --date=STRING display time described by STRING, not `now’[root@Gman root]# date -d next-day +%Y%m%d #明天日期20091024[root@Gman root]# date -d last-day +%Y%m%d #昨天日期20091022[root@Gman root]# date -d yesterday +%Y%m%d #昨天日期20091022[r 阅读全文

摘要：link ：http://blog.csdn.net/sptoor/article/details/11523469distcp从ftp到hdfs拷贝文件：hadoop distcp ftp://fptuser:ftppassword@host/ftp/path/ hdfs://node:port1/hdfs/path/ 阅读全文