03 2021 档案

Shell 基本语法
摘要：变量命名 定义变量时，变量名不加美元符号（$） 注意，变量名和等号之间不能有空格，同时，变量名的命名须遵循如下规则： 命名只能使用英文字母，数字和下划线，首个字符不能以数字开头。 中间不能有空格，可以使用下划线（_）。 不能使用标点符号。 不能使用bash里的关键字（可用help命令查看保留关键字） 阅读全文
posted @ 2021-03-31 00:41 Tenic 阅读(279) 评论(0) 推荐(0)
HDFS API使用
摘要：HDFS shell API HDFS作为大数据的文件系统，可以放置数据文件，列举几个常用的shell脚本命令， 用法和linux中的基本类似，不过这个是hadoop里的一套，所以我们要用hadoop fs开头 具体可以使用hadoop fs --help 查看帮助信息 例如： ls hadoop 阅读全文
posted @ 2021-03-29 20:06 Tenic 阅读(120) 评论(0) 推荐(0)
hadoop HA高可用搭建
摘要：hadoop HA高可用搭建 接上回hadoop概述二，我们了解到了hdfs有弊端，需要搭建HA，通过官网查看有2中方式进行高可用。一种基于QJM方式的，另一种基于联邦的， 我们今天先来使用QJM方案来做hadoop的高可用，使用4台服务器来做集群，还会用到zookeeper来做主备切换的调控 先说 阅读全文
posted @ 2021-03-28 10:55 Tenic 阅读(170) 评论(0) 推荐(0)
hadoop 概述(二)
摘要：hadoop 概述一，已经写了hdfs的一些基本概念，那作为分布式文件系统，是怎么进行读写的？下边讲述hdfs的读写流程 HDFS中读写流程中有一些额外的小的概念，下面讲述一下 block blokc块，一般是128M，可以修改大小，但不推荐，原因如下： 如果块设置过大， 一方面，从磁盘传输数据的时 阅读全文
posted @ 2021-03-16 22:39 Tenic 阅读(66) 评论(0) 推荐(0)
Hadoop 概述(一)
摘要：Hadoop概述信息 hadoop 有三大组成部分，HDFS（分布式文件存储系统）、YARN（资源管理器）、MAPREDUCE（分布式计算框架） ,下边我们来简单介绍一下 HDFS 分布式文件存储系统 HDFS分布式文件系统，是由Google的GFS谷歌文件系统开源出来，其存储模型是有主从结构的，可 阅读全文
posted @ 2021-03-14 23:28 Tenic 阅读(96) 评论(0) 推荐(0)
hadoop集群下几个好用的脚本工具
摘要：远程复制同步脚本 1.通过scp直接拷贝 一般Linux系统之间复制同步文件，或者文件夹使用的是scp，基本语法如下： scp -r sourceFile username@host:destpath 或者在有ssh免密登录的情况下可以使用如下命令 scp -r sourceFile host:$P 阅读全文
posted @ 2021-03-08 23:58 Tenic 阅读(181) 评论(0) 推荐(0)
hadoop集群安装
摘要：hadoop集群安装 安装环境服务部署规划 服务器IP node01 node02 node03 HDFS NameNode HDFS SecondaryNameNode HDFS DataNode DataNode DataNode YARN ResourceManager YARN NodeMa 阅读全文
posted @ 2021-03-08 00:22 Tenic 阅读(143) 评论(0) 推荐(0)
zookeeper集群搭建安装
摘要：hadoop大数据集群搭建过程中，需要使用到zookeeper进行主从管理和控制，那我们就安装一套集群环境 1、下载zookeeper 登录zookeeper.apache.org官网，找到Getting Started下边的Download。 进去之后我们选择一个版本，比如选择3.6.2，进去后选 阅读全文
posted @ 2021-03-05 23:06 Tenic 阅读(70) 评论(0) 推荐(0)
部署hadoop集群环境前的准备
摘要：本文使用Linux版本为centos7，准备3个节点，来部署hadoop集群前要做一些准备工作 具体分配规划如下所示： | 节点名称 | 节点IP | | | | | hadoop01 | 192.168.56.10 | | hadoop02 | 192.168.56.20 | | hadoop03 阅读全文
posted @ 2021-03-03 00:24 Tenic 阅读(154) 评论(0) 推荐(0)
CentOS7更换yum为阿里源
摘要：1 备份本地源 mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backup 2 获取阿里源配置文件 CentOS 6 wget -O /etc/yum.repos.d/CentOS-Base.repo h 阅读全文
posted @ 2021-03-02 22:57 Tenic 阅读(258) 评论(0) 推荐(0)
MACOS 配置virtualbox网络(NAT地址转换和Host-only)
摘要：本文使用linux版本为centos7，对应virtualbox版本为6.1 创建Net地址转换网卡 进入virtualbox → 偏好设置 切换到网络Tab页，新建一个NAT网络 在新建的NAT网络上面点击右键，选择编辑，并记下网关地址，这里的网关地址是10.0.2.0 创建Host-only网卡 阅读全文
posted @ 2021-03-01 21:52 Tenic 阅读(805) 评论(0) 推荐(0)