随笔分类 -  大数据技术

摘要：一.虚拟机环境搭建 1.首先在VMware Workstation中引导CentOS的镜像文件 2.然后配置NAT方式动态获取ip地址 3.关闭防火墙 设置开机即关闭防火墙 4.通过reboot指令重启虚拟机 5.查看虚拟机ip地址 此时动态获取ip地址的环境已经搭建完成。 如上搭建三个node，n 阅读全文

摘要：前言 Hadoop早期衍生自Nutch（Java开源的搜索引擎），早期Nutch构建开源的搜索引擎，同样在少数的机器上同时运行计算任务面临着问题，在这个时候Google发布了GFS和Map Reduce论文。人们参考着这两篇论文中所阐述的思想开始重建Nutch的存储和计算模型。一开始尝试在20台机器 阅读全文