摘要：
1. 概论 2.核心概念 1.1 Namenode(NN) 官网的解释是就是这个文件系统的命名空间. 通俗点说,就是既然数据文件是分块存储在多个数据节点上,那必然有一个综合管理文件访问的地方.比如数据文件的路径,权限,以及存储在哪些数据数据节点上以及如何聚合还原等等. 按官网的说明,NN存储了以下东 阅读全文
posted @ 2018-05-30 10:30
NightPxy
阅读(139)
评论(0)
推荐(0)
摘要：
1.MySQL安装方式选择 1.1 yum直接安装 安装非常简单,适合对MySQL没有什么要求时使用. 正常基本不考虑yum安装(开发本地装个客户端可以用),不能修改安装路径,导致一台服务器上只能安装一个MySQL,要安装新的需要先卸载 1.2 rpm包安装 可以选择MySQL版本进行下载. 与yu 阅读全文
posted @ 2018-05-28 23:50
NightPxy
阅读(143)
评论(0)
推荐(0)
摘要：
前面已经部署好了HDFS, YARN比较容易了 1.修改配置文件 官方已经提供了一个配置文件,直接拿来用 #cp ~/app/hadoop-2.6.0-cdh5.7.0/etc/hadoop/mapred-site.xml.template ~/app/hadoop-2.6.0-cdh5.7.0/e 阅读全文
posted @ 2018-05-28 17:28
NightPxy
阅读(209)
评论(0)
推荐(0)
摘要：
前文 已经完成了编译,接下来就是部署了 这里部署还是采用伪分布式部署,硬件条件没办法,我的破机器内存实在是拖不起三台,只能装一台用伪分布式了. 1.基本安装 找到我们刚才编译好的安装包 拷贝出来 #cp ./hadoop-2.8.1.tar.gz /etc/software 老规矩 解压 #tar 阅读全文
posted @ 2018-05-27 22:15
NightPxy
阅读(273)
评论(0)
推荐(0)
摘要：
1.突然之间所有命令都不起作用了 原因很简单,配置文件改错了,命令是来自PATH的,PATH有问题,会导致找不到几乎所有的命令 问题最麻烦的是明知是PATH可能配错了可是改不了,因为不可用的命令包括vi等,所以临时在会话里重新声明一个暂时用用的PATH,先应个急 #export PATH=/usr/ 阅读全文
posted @ 2018-05-27 19:11
NightPxy
阅读(209)
评论(0)
推荐(0)
摘要：
1.系统准备 Hadoop整体是跑在Linux系统上(没有研究过Mac的,忽略),基本不考虑Windows, 那么首先,一台可用的Linux操作系统是必须的,并且必须是打通外网的.因为Hadoop本身使用的Maven来做的Jar包管理,所以在编译过程中,需要打通外网,方便Maven下载需要的Jar包 阅读全文
posted @ 2018-05-27 17:29
NightPxy
阅读(492)
评论(0)
推荐(0)
摘要：
1.Hadoop简述 Hadoop是现在主流的大数据解决方案.至少到目前为止,还没有一个其它技术方案能与Hadoop相比. Hadoop本身有两种意义 狭义的hadoop:就是指YARN,MapReduce,HDFS这三大组件.这三大组件本身是有替代,牛B的是下面 广义的hadoop是指整个依托或者 阅读全文
posted @ 2018-05-27 12:26
NightPxy
阅读(97)
评论(0)
推荐(0)
摘要：
系统使用: 操作系统:CentOS-7-x86_64-Minimal-1804 虚拟机:VMware 12 1.VMware安装CentOS-7 PS:系统内存稍微大一点,因为后面将在服务器进行hadoop编译,内存少了容易出现很多莫名其妙的错误 PS:切记使用NAT,因为我们是虚拟机做静态IP P 阅读全文
posted @ 2018-05-27 00:43
NightPxy
阅读(300)
评论(0)
推荐(0)
浙公网安备 33010602011771号