随笔分类 -  hadoop

hadoop设置公平队列
摘要：http://hadoop.apache.org/docs/r1.2.1/fair_scheduler.htmlfair-scheduler.xml文档 5 5 15 15 300 5 5 5 3 600 ... 阅读全文
posted @ 2014-07-15 17:09 silence.li 阅读(479) 评论(0) 推荐(0)
hadoop日志太大
摘要：hadoop jobtracker日志太大在jobtracker服务器上的mapred-site.xml中添加以下参数： mapreduce.jobhistory.max-age-ms 604800 然后重启hadoop，hadoop会自动删除7天之前的数据。 阅读全文
posted @ 2013-12-24 14:40 silence.li 阅读(446) 评论(0) 推荐(0)
hive搭建配置
摘要：下载cd /data0/software/hivewget http://mirror.bit.edu.cn/apache/hive/hive-0.12.0/hive-0.12.0-bin.tar.gz另一个hive-0.12.0.tar.gz，里面有docs和src文件夹解压tar zxvf /data0/software/hive/hive-0.12.0-bin.tar.gz -C /home/app/act/hive/ln -s /home/app/act/hive/hive-0.12.0 /home/app/srv/hive配置环境变量export HIVE_HOME=/home/ap 阅读全文
posted @ 2013-11-22 14:20 silence.li 阅读(667) 评论(0) 推荐(0)