随笔分类 - 大数据
摘要:1.2MapReduce 和 HDFS 是如何工作的 MapReduce 其实是两部分,先是 Map 过程,然后是 Reduce 过程。从词频计算来说,假设某个文件块里的一行文字是”Thisis a small cat. That is a smalldog.”,那么,Map 过程会对这一行进行处理
阅读全文
摘要:首先 先把你虚拟机和本机网络链接弄通 (详情看上一篇) 一些关于mapreduce 和hadoop的配置都在上一篇 安装eclipse 的hadoop Map/Reduce插件详情 看其他博客园......... 这里里面配置的是你windows下的hadoop 高版本貌似兼容低版本 下载请参考网上
阅读全文
摘要:第一步: 首先把虚拟机和你的主机(本地电脑)弄通这样本地机器才能访问虚拟机里面的内容 我用的虚拟机为 VMware Workstation linux 为 centeros 补充一点虚拟机设置 1 虚拟机菜单上点击编辑->虚拟网络编辑器->VMnet8 如图: 按照我的图来! 那个子网IP 可以直接
阅读全文
摘要:辛辛苦苦学两年 ,一举回到解放前!!! 大数据开始学真的头疼 关键是linux你玩的不6 唉难受 hadoop 配置参见博客 http://dblab.xmu.edu.cn/blog/install-hadoop/ 权威的东西 接下来是进行HDFS下读写文件 说一下自己遇到的问题 一直说拒接链接,一
阅读全文

浙公网安备 33010602011771号