随笔分类 -  云上大数据

数据可视化分析
摘要：python仓库 https://pypi.tuna.tsinghua.edu.cn/simple/ 1 数据初探 首先导入要使用的科学计算模块 numpy, pandas,可视化matplotlib, seaborn,IPython以及机器学习模块 sklearn。 用到lianjia.csv 文 阅读全文
posted @ 2022-06-10 17:29 陽YANG 阅读(208) 评论(0) 推荐(0)
十六 、大数据平台及组件安装部署
摘要：十六 、大数据平台及组件安装部署 实验任务一：Hadoop 集群验证 分布式集群搭建完成后，根据 Hadoop 两大核心组成，可以通过监测这 HDFS 分布式文件 系统和 MapReduce 来完成监测工作，通过以下步骤完成 Hadoop 集群测试： （1）初始化集群，使用 Hadoop 命令启动集 阅读全文
posted @ 2022-06-03 19:05 陽YANG 阅读(370) 评论(0) 推荐(0)
13、大数据平台监控命令
摘要：13、实验任务一:监控大数据平台状态 先完成 4 -- 10 步骤一：查看 Linux 系统的信息（uname -a） [root@master ~]# uname -a Linux master 3.10.0-693.el7.x86_64 #1 SMP Tue Aug 22 21:09:27 UT 阅读全文
posted @ 2022-05-20 14:47 陽YANG 阅读(310) 评论(0) 推荐(0)
9、Sqoop 组件安装与配置
摘要：9、Sqoop 组件安装与配置 # 部署sqoop(在master上执行以下命令) tar xf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz -C /usr/local/src/ cd /usr/local/src/ mv sqoop-1.4.7.bin__hadoop 阅读全文
posted @ 2022-05-11 16:15 陽YANG 阅读(60) 评论(0) 推荐(0)
8、HBase实验步骤：
摘要：8、HBase实验步骤： #1.配置时间同步(在所有节点上执行) yum -y install chrony vi /etc/chrony.conf pool time1.aliyun.com iburst #保存以上配置后执行以下命令 systemctl enable --now chronyd 阅读全文
posted @ 2022-05-11 15:55 陽YANG 阅读(106) 评论(0) 推荐(0)
10、Flume 组件安装配置
摘要：10、flume组件 #1.部署flume组件(在master上执行) 在4,5,7,8,的基础上完成 # 使用xftp上传软件包到/opt/software tar xf /opt/software/apache-flume-1.6.0-bin.tar.gz -C /usr/local/src/ 阅读全文
posted @ 2022-05-06 16:53 陽YANG 阅读(87) 评论(0) 推荐(0)
7、ZooKeeper 组件安装配置
摘要：第七章(zookeeper)实验步骤： #1.配置时间同步(在所有节点上执行) yum -y install chrony vi /etc/chrony.conf pool time1.aliyun.com iburst #保存以上配置后执行以下命令 systemctl enable --now c 阅读全文
posted @ 2022-05-06 14:50 陽YANG 阅读(58) 评论(0) 推荐(0)
5、hadoop 集群运行
摘要：#hadoop 集群运行 分别有3台主机 10.10.10.128 master 10.10.10.129 slave1 10.10.10.130 slave2 ###1、 步骤一：NameNode 格式化 只要运行过 HDFS，Hadoop 的工作目录（usr/local/src/hadoop/t 阅读全文
posted @ 2022-05-06 14:49 陽YANG 阅读(67) 评论(0) 推荐(0)
6、Hive 组件安装配置
摘要：#6、Hive 组件安装配置 基础环境和安装准备 Hive 组件的部署规划和软件包路径如下： 1)本地安装 MySQL 数据库（账号 root，密码 Password123$）， 软件包在/opt/software/mysql-5.7.18 路径下。 2）MySQL 端口号（3306）。 3）Hiv 阅读全文
posted @ 2022-05-06 14:49 陽YANG 阅读(107) 评论(0) 推荐(0)
4、hadoop 全分布配置
摘要：#hadoop 全分布配置 分别有3台主机 10.10.10.128 master 10.10.10.129 slave1 10.10.10.130 slave2 ##1、配置网络信息（在所有节点上执行) vi /etc/sysconfig/network-scripts/ifcfg-网卡名 TYP 阅读全文
posted @ 2022-04-16 22:40 陽YANG 阅读(54) 评论(0) 推荐(0)