随笔分类 -  Map/Reduce

Hadoop eclipse插件使用过程中出现的问题
摘要:http://download.csdn.net/detail/java2000_wl/4326323 转自http://www.ithao123.cn/content-945210.html 由于hadoop主要是部署和应用在linux环境中的,但是目前鄙人自知能力有限,还无法完全把工作环境转移到 阅读全文
posted @ 2017-03-31 15:47 Mr.He多多指教 阅读(1507) 评论(0) 推荐(0)
hadoop eclipse插件下载 1.1.2版本
摘要:1.1.2 1.2.1 阅读全文
posted @ 2017-03-31 09:58 Mr.He多多指教 阅读(148) 评论(0) 推荐(0)
hadoop:WordCount问题总结
摘要:今天玩了一下hadoop的MapReduce,中途遇到了几个问题,在此记录一下。 1.一切按照配置完成之后,hadoop namenode format,start-all.sh启动,使用jps查看进程的时候,发现没有NameNode和JobTracker。 查了一下,有如下几个原因会导致这个问题 阅读全文
posted @ 2017-03-09 16:55 Mr.He多多指教 阅读(399) 评论(0) 推荐(0)
Hadoop 源码阅读技巧
摘要:http://www.cnblogs.com/xuxm2007/category/388607.html 个人谈谈阅读hadoop源代码的经验。首先,不得不说,hadoop发展到现在这个阶段,代码已经变得非常庞大臃肿,如果你直接阅读最新版本的源代码,难度比较大,需要足够的耐心和时间,所以,如果你觉得 阅读全文
posted @ 2016-03-24 14:07 Mr.He多多指教 阅读(1261) 评论(0) 推荐(0)
WordCount
摘要:package cmd; import java.net.URI; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.conf.Configured; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path... 阅读全文
posted @ 2016-03-18 10:17 Mr.He多多指教 阅读(703) 评论(0) 推荐(0)
Hadoop伪分布安装
摘要:1.hadoop的伪分布安装 1.1 设置ip地址 执行命令 service network restart 验证: ifconfig 1.2 关闭防火墙 执行命令 service iptables stop 验证: service iptables status 1.3 关闭防火墙的自动运行(在上面的那一步即使我们关... 阅读全文
posted @ 2016-03-14 00:20 Mr.He多多指教 阅读(336) 评论(0) 推荐(0)