摘要：
Hadoop概述信息 hadoop 有三大组成部分，HDFS（分布式文件存储系统）、YARN（资源管理器）、MAPREDUCE（分布式计算框架） ,下边我们来简单介绍一下 HDFS 分布式文件存储系统 HDFS分布式文件系统，是由Google的GFS谷歌文件系统开源出来，其存储模型是有主从结构的，可 阅读全文
摘要：
远程复制同步脚本 1.通过scp直接拷贝 一般Linux系统之间复制同步文件，或者文件夹使用的是scp，基本语法如下： scp -r sourceFile username@host:destpath 或者在有ssh免密登录的情况下可以使用如下命令 scp -r sourceFile host:$P 阅读全文
摘要：
hadoop集群安装 安装环境服务部署规划 服务器IP node01 node02 node03 HDFS NameNode HDFS SecondaryNameNode HDFS DataNode DataNode DataNode YARN ResourceManager YARN NodeMa 阅读全文
摘要：
hadoop大数据集群搭建过程中，需要使用到zookeeper进行主从管理和控制，那我们就安装一套集群环境 1、下载zookeeper 登录zookeeper.apache.org官网，找到Getting Started下边的Download。 进去之后我们选择一个版本，比如选择3.6.2，进去后选 阅读全文
摘要：
本文使用Linux版本为centos7，准备3个节点，来部署hadoop集群前要做一些准备工作 具体分配规划如下所示： | 节点名称 | 节点IP | | | | | hadoop01 | 192.168.56.10 | | hadoop02 | 192.168.56.20 | | hadoop03 阅读全文
摘要：
1 备份本地源 mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backup 2 获取阿里源配置文件 CentOS 6 wget -O /etc/yum.repos.d/CentOS-Base.repo h 阅读全文
摘要：
本文使用linux版本为centos7，对应virtualbox版本为6.1 创建Net地址转换网卡 进入virtualbox → 偏好设置 切换到网络Tab页，新建一个NAT网络 在新建的NAT网络上面点击右键，选择编辑，并记下网关地址，这里的网关地址是10.0.2.0 创建Host-only网卡 阅读全文