shuangmu668

 

2023年7月6日

大数据平台及组件安装部署

摘要: ## 大数据平台及组件安装部署 ### 实验一:Hadoop 全分布部署 1. #### 实验任务一:Hadoop 集群验证 分布式集群搭建完成后,根据 Hadoop 两大核心组成,可以通过监测这 HDFS 分布式文件 系统和 MapReduce 来完成监测工作,通过以下步骤完成 Hadoop 集群 阅读全文

posted @ 2023-07-06 18:33 shuangmu668 阅读(163) 评论(0) 推荐(0)

数据可视化分析

摘要: # 数据可视化分析 ## 1 数据初探 首先导入要使用的科学计算模块 numpy, pandas,可视化matplotlib, seaborn,以及机器学习模块 sklearn。 ~~~python import pandas as pd import numpy as np import seab 阅读全文

posted @ 2023-07-06 18:32 shuangmu668 阅读(39) 评论(0) 推荐(0)

搭建hwi和告警和日志信息监控

摘要: ### 搭建hwi ##### 1.通过网址https://archive.apache.org/dist/hive/hive-2.0.0/安装hive/hive-2.0.0包 ~~~python [hadoop@master ~]$ wget https://archive.apache.org/ 阅读全文

posted @ 2023-07-06 18:31 shuangmu668 阅读(104) 评论(0) 推荐(0)

实验一:通过界面监控大数据平台运行状态

摘要: ## 实验一:通过界面监控大数据平台运行状态 #### 1.实验任务一:通过界面查看大数据平台状态 通过大数据平台 Hadoop 的用户界面可以查看平台的计算资源和存储资源。 打开 http://master:8088/cluster/nodes 页面,可以查看大数据平台的状态汇总信息. ![ima 阅读全文

posted @ 2023-07-06 18:26 shuangmu668 阅读(222) 评论(0) 推荐(0)

通过命令监控大数据平台运行状态

摘要: ## 1.通过命令监控大数据平台运行状态 #### 1.1.实验任务一:通过命令查看大数据平台状态 ##### 1.1. 步骤一:查看 Linux 系统的信息(uname -a) ~~~~python [root@master ~]# uname -a Linux master 3.10.0-862 阅读全文

posted @ 2023-07-06 18:26 shuangmu668 阅读(180) 评论(0) 推荐(0)

Flume 组件安装配置

摘要: ## Flume 组件安装配置 #### 1.1. 实验目的 ##### 完成本实验,您应该能够: ##### 掌握下载和解压 Flume ##### 掌握 Flume 组件部署 ##### 掌握使用 Flume 发送和接受信息 #### 1.2. 实验要求 ##### 了解 Flume 相关知识 阅读全文

posted @ 2023-07-06 18:24 shuangmu668 阅读(101) 评论(0) 推荐(0)

Sqoop 组件安装与配置

摘要: ## 1.Sqoop 组件安装与配置 #### 1.1. 实验目的 ##### 完成本实验,您应该能够: ##### 下载和解压 Sqoop ##### 配置 Sqoop 环境 ##### 安装 Sqoop ##### Sqoop 模板命令 #### 1.2. 实验要求 ##### 熟悉 Sqoop 阅读全文

posted @ 2023-07-06 18:23 shuangmu668 阅读(266) 评论(0) 推荐(0)

raid简介

摘要: ### 1.raid简介 ##### RAID 是英文 Redundant Array of Independent Disk 的首字母缩写,中文意思是:独立磁盘冗余阵列。通俗的讲就是把多块硬盘组成一个独立的磁盘阵列进行管理。 ##### 磁盘阵列是由很多块独立的磁盘,组合成一个容量巨大的磁盘组,利 阅读全文

posted @ 2023-07-06 18:20 shuangmu668 阅读(410) 评论(0) 推荐(0)

HBase 组件安装与配置

摘要: ## HBase 组件安装与配置 #### 1.1. 实验目的 ##### 完成本实验,您应该能够: ##### 掌握 HBase 安装与配置 ##### 掌握 HBase 常用 Shell 命令 #### 1.2. 实验要求 ##### 了解 HBase 原理 ##### 熟悉 HBase 常用 阅读全文

posted @ 2023-07-06 18:19 shuangmu668 阅读(113) 评论(0) 推荐(0)

ZooKeeper 组件安装配置

摘要: ## 1.ZooKeeper 组件安装配置 #### 1.1. 实验目的 ##### 完成本实验,您应该能够: ##### 掌握下载和安装 ZooKeeper ##### 掌握 ZooKeeper 的配置选项 ##### 掌握启动 ZooKeeper #### 1.2. 实验要求 ##### 了解 阅读全文

posted @ 2023-07-06 18:15 shuangmu668 阅读(81) 评论(0) 推荐(0)

导航