Tenic

2021年3月14日

摘要： Hadoop概述信息 hadoop 有三大组成部分，HDFS（分布式文件存储系统）、YARN（资源管理器）、MAPREDUCE（分布式计算框架） ,下边我们来简单介绍一下 HDFS 分布式文件存储系统 HDFS分布式文件系统，是由Google的GFS谷歌文件系统开源出来，其存储模型是有主从结构的，可阅读全文

posted @ 2021-03-14 23:28 Tenic 阅读(82) 评论(0) 推荐(0)

2021年3月8日

hadoop集群下几个好用的脚本工具

摘要：远程复制同步脚本 1.通过scp直接拷贝一般Linux系统之间复制同步文件，或者文件夹使用的是scp，基本语法如下： scp -r sourceFile username@host:destpath 或者在有ssh免密登录的情况下可以使用如下命令 scp -r sourceFile host:$P 阅读全文

posted @ 2021-03-08 23:58 Tenic 阅读(166) 评论(0) 推荐(0)

hadoop集群安装

摘要： hadoop集群安装安装环境服务部署规划服务器IP node01 node02 node03 HDFS NameNode HDFS SecondaryNameNode HDFS DataNode DataNode DataNode YARN ResourceManager YARN NodeMa 阅读全文

posted @ 2021-03-08 00:22 Tenic 阅读(136) 评论(0) 推荐(0)

2021年3月5日

zookeeper集群搭建安装

摘要： hadoop大数据集群搭建过程中，需要使用到zookeeper进行主从管理和控制，那我们就安装一套集群环境 1、下载zookeeper 登录zookeeper.apache.org官网，找到Getting Started下边的Download。进去之后我们选择一个版本，比如选择3.6.2，进去后选阅读全文

posted @ 2021-03-05 23:06 Tenic 阅读(61) 评论(0) 推荐(0)

2021年3月3日

部署hadoop集群环境前的准备

posted @ 2021-03-03 00:24 Tenic 阅读(130) 评论(0) 推荐(0)

2021年3月2日

CentOS7更换yum为阿里源

摘要： 1 备份本地源 mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backup 2 获取阿里源配置文件 CentOS 6 wget -O /etc/yum.repos.d/CentOS-Base.repo h 阅读全文

posted @ 2021-03-02 22:57 Tenic 阅读(244) 评论(0) 推荐(0)

2021年3月1日

MACOS 配置virtualbox网络(NAT地址转换和Host-only)

摘要：本文使用linux版本为centos7，对应virtualbox版本为6.1 创建Net地址转换网卡进入virtualbox → 偏好设置切换到网络Tab页，新建一个NAT网络在新建的NAT网络上面点击右键，选择编辑，并记下网关地址，这里的网关地址是10.0.2.0 创建Host-only网卡阅读全文

posted @ 2021-03-01 21:52 Tenic 阅读(781) 评论(0) 推荐(0)

公告