2012年9月1日
Hadoop使用常见问题以及解决方法
摘要： 1：Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-outAnswer：程序里面需要打开多个文件，进行分析，系统一般默认数量是1024，（用ulimit -a可以看到）对于正常使用是够了，但是对于程序来讲，就太少了。修改办法：修改2个文件。/etc/security/limits.confvi /etc/security/limits.conf加上：* soft nofile 102400* hard nofile 409600$cd /etc/pam.d/$sudo vi login添加 session required 阅读全文
posted @ 2012-09-01 17:46 ccmaotang 阅读(252) 评论(0) 推荐(0)
hadoop20120901备注
摘要： /var/hadoop/hdfs_folder/dfs/data/current 的目录下有数据存储，/var/hadoop/hdfs_folder/dfs/data/即为dfs.data.dir目录/var/hadoop/hdfs_folder/dfs/data/ 阅读全文
posted @ 2012-09-01 17:37 ccmaotang 阅读(104) 评论(0) 推荐(0)