hadoop新手入门附带图文
-
Hadoop平台概念及大致原理解释(掌握的小白忽略)
从狭义的角度上来讲,大数据就是比如某些数据十分庞大,比如按常理来说,我们个人使用的电脑只能存大约1个T的数据,如果数据达到了几十个ZB呢?显然一台电脑是存不下的,或者有人说哪增大电脑存储量呢?显然如果数据量一直增加下去,这种通过不断增加一台计算机的存储量是不合理的。而有没有什么比较好的办法?
显然是有的,为什么不可以把这一个文件切分成多个小文件,(一般默认切分的文件大小有 64MB和128MB的,取决于你使用的是hadoop哪一个版本)然后将这些小文件分发到其他电脑上进行存储,当你用到文件中某些数据时,再从这些电脑上的把切分后的数据进行重组返回原来的数据进行查询呢?这就是我们的hadoop平台可以做到的事。Hadoop平台当中有一个组件是HDFS(分布式文件系统),它将一个文件切割成多个小的文件,然后分发到其他电脑上进行存储,哪如何管理这些文件分发呢,这得益于我们的hadoop的一个组件yarn,他对我们那些切分的数据块进行分发和管理,当然了这只是其中两个组件,Hadoop当中还有很多组件。此次搭建部分只讲这么多 -
相关软件解释
我们需要的安装软件有VMware15,xftp4,xshell5以及相关镜像源(如centos7,ubuntu)
我们需要从自己的电脑上进行模拟多态电脑,而vmware软件你可以把它想做是模拟我们电脑硬件的,电脑有了硬件可运行不起来,还需要相关软件去调用,比如我们使用的windos系统就是去调用电脑相关环境去工作,而准备的镜像源(如centos7,ubuntu)就是用来用作相关软件的镜像。而xshell5可理解是远程去管理你的电脑,可以远程去控制你的电脑(此处是指去向虚拟机里发送命令,远程控制你的虚拟机),xftp4是去向你的电脑发送文件的。 -
相关软件安装
软件下载:链接:https://pan.baidu.com/s/1TcaFMZtGPwlUfbO0v29hyw
提取码:1vcp
复制这段内容后打开百度网盘手机App,操作更方便哦
3.1安装VMware
在这里插入图片描述
3.1.1![在这里插入图片描述]()
3.1.2![在这里插入图片描述]()
3.1.3![在这里插入图片描述]()
3.1.4![在这里插入图片描述]()
3.1.5
3.1.6
3.1.7至此,我们的桌面上已经有了VMware软件,打开VMware软件,输入许可证
,以下是可以使用的许可证:
CG54H-D8D0H-H8DHY-C6X7X-N2KG6
ZC3WK-AFXEK-488JP-A7MQX-XL8YF
AC5XK-0ZD4H-088HP-9NQZV-ZG2R4
ZC5XK-A6E0M-080XQ-04ZZG-YF08D
ZY5H0-D3Y8K-M89EZ-AYPEG-MYUA8
(从网上找的,未测试,不一定全部可用)
3.1.8
3.1.9

3.1.10点击重启计算机
3.1.11打开vmware,至此已完成vmware的安装
3.2安装xftp4和xshell5,此两款软件一直点击下一步即可,无难点。至此,硬件以及相关准备软件已完成,
4 虚拟机的安装以及相关配置(操作系统)
说明: 点击之前可能会出现未打开虚拟化功能,由于电脑配置不同,打开BIOS方式也可能不同,可自行百度,虚拟机的安装,可理解为给裸机(电脑只有硬件,没有装windos等系统)装系统
下面一部分有可能选择的系统不一样,安装步骤有些出入,但大体相同
4.1
4.2
4.3
4.4
4.5
4.6
4.7
4.8
4.9
补充说明:
网络连接类型的选择,网络连接类型一共有桥接、NAT、仅主机和不联网四种。
桥接:选择桥接模式的话虚拟机和宿主机在网络上就是平级的关系,相当于连接在同一交换机上。
NAT:NAT模式就是虚拟机要联网得先通过宿主机才能和外面进行通信。
仅主机:虚拟机与宿主机直接连起来
桥接与NAT模式访问互联网过程,如下图所示(图片来自网络)

4.10
4.11
4.12
4.13
4.14
4.15
4.16
4.17
4.18在4.17完成之后,放在鼠标放在这会有显示
4.19
4.20有可能会出现界面,选择第一个,点击确定即可,此处版本不一样,出现的界面可能有些差别
说明:当鼠标在虚拟机内部时,想要让鼠标跳到自己桌面,可使用ctrl+alt键。
4.21,点击跳过(使用键盘上的左右以及enter键,此处鼠标无用)
4.22
4.23
4.24
4.25
4.26
说明:此处1中注解有误
4.27
4.28
4.29
4.30
4.31
4.32
4.33
4.34
4.35
4.36
4.37
4.38点击确定至此Linux系统安装完毕
4.39
4.40说明:如果是无界面的,安装后如下




浙公网安备 33010602011771号