摘要: 前文 已经完成了编译,接下来就是部署了 这里部署还是采用伪分布式部署,硬件条件没办法,我的破机器内存实在是拖不起三台,只能装一台用伪分布式了. 1.基本安装 找到我们刚才编译好的安装包 拷贝出来 #cp ./hadoop-2.8.1.tar.gz /etc/software 老规矩 解压 #tar 阅读全文
posted @ 2018-05-27 22:15 NightPxy 阅读(273) 评论(0) 推荐(0)
摘要: 1.突然之间所有命令都不起作用了 原因很简单,配置文件改错了,命令是来自PATH的,PATH有问题,会导致找不到几乎所有的命令 问题最麻烦的是明知是PATH可能配错了可是改不了,因为不可用的命令包括vi等,所以临时在会话里重新声明一个暂时用用的PATH,先应个急 #export PATH=/usr/ 阅读全文
posted @ 2018-05-27 19:11 NightPxy 阅读(209) 评论(0) 推荐(0)
摘要: 1.系统准备 Hadoop整体是跑在Linux系统上(没有研究过Mac的,忽略),基本不考虑Windows, 那么首先,一台可用的Linux操作系统是必须的,并且必须是打通外网的.因为Hadoop本身使用的Maven来做的Jar包管理,所以在编译过程中,需要打通外网,方便Maven下载需要的Jar包 阅读全文
posted @ 2018-05-27 17:29 NightPxy 阅读(492) 评论(0) 推荐(0)
摘要: 1.Hadoop简述 Hadoop是现在主流的大数据解决方案.至少到目前为止,还没有一个其它技术方案能与Hadoop相比. Hadoop本身有两种意义 狭义的hadoop:就是指YARN,MapReduce,HDFS这三大组件.这三大组件本身是有替代,牛B的是下面 广义的hadoop是指整个依托或者 阅读全文
posted @ 2018-05-27 12:26 NightPxy 阅读(97) 评论(0) 推荐(0)
摘要: 系统使用: 操作系统:CentOS-7-x86_64-Minimal-1804 虚拟机:VMware 12 1.VMware安装CentOS-7 PS:系统内存稍微大一点,因为后面将在服务器进行hadoop编译,内存少了容易出现很多莫名其妙的错误 PS:切记使用NAT,因为我们是虚拟机做静态IP P 阅读全文
posted @ 2018-05-27 00:43 NightPxy 阅读(300) 评论(0) 推荐(0)