2016年5月29日
hadoop参数配置
摘要： Hadoop参数汇总 linux参数 JVM参数 Hadoop参数大全 core-default.xml hdfs-default.xml yarn-default.xml Hadoop参数汇总 linux参数 JVM参数 Hadoop参数大全 core-default.xml hdfs-defau 阅读全文
posted @ 2016-05-29 23:40 白开水加糖 阅读(14634) 评论(0) 推荐(0)
How to solve java.net.SocketTimeoutException:60000millis problem in HDFS
摘要： Many HDFS users encounter the following error when DFSClient ready file from a certain Data Node. "Java.net.SocketTimeoutException: 60000millis timeou 阅读全文
posted @ 2016-05-29 23:35 白开水加糖 阅读(3093) 评论(0) 推荐(0)
hadoop中，combine、partition、shuffle作用分别是什么？
摘要： combine和partition都是函数，中间的步骤应该只有shuffle！combine分为map端和reduce端，作用是把同一个key的键值对合并在一起，可以自定义的。combine函数把一个map函数产生的<key,value>对（多个key,value）合并成一个新的<key2,valu 阅读全文
posted @ 2016-05-29 08:14 白开水加糖 阅读(6402) 评论(0) 推荐(1)