2022年1月8日
【大数据基础】三、常规脚本编写
摘要： 一、同步脚本 vim xsync #!/bin/bash #1. 判断参数个数 if [ $# -lt 1 ] then echo Not Enough Arguement! exit; fi #2. 遍历集群所有机器 for host in hadoop101 hadoop102 hadoop10 阅读全文
posted @ 2022-01-08 15:38 持枢 阅读(112) 评论(0) 推荐(0)
【大数据基础】三、hadoop核心配置文件
摘要： 一、vim core-site.xml <!-- core指定 NameNode 的地址 --> <property> <name>fs.defaultFS</name> <value>hdfs://hadoop101:8020</value> </property> <!-- 指定 hadoop 阅读全文
posted @ 2022-01-08 14:45 持枢 阅读(301) 评论(1) 推荐(0)
2022年1月5日
【Hadoop集群】五、zookeeper、hbase安装
摘要： 一、zookeeper启动脚本 if [ $# -lt 1 ] then echo "No Args Input..." exit ; fi case $1 in "start") echo " 启动 zookeeper 集群 " echo " 启动 hadoop101 " ssh hadoop10 阅读全文
posted @ 2022-01-05 21:09 持枢 阅读(61) 评论(0) 推荐(0)
【Hadoop集群】四、时间同步
摘要： 一、安装ntpd yum install -y ntp ntpd 查看时区 要是cst timedatectl 修改时区 timedatectl set-timezone Asia/Shanghai 查看状态sudo systemctl status ntpd 启动 sudo systemctl s 阅读全文
posted @ 2022-01-05 19:52 持枢 阅读(165) 评论(0) 推荐(0)
【Spark集群】一、配置搭建
摘要： 一、standalone的搭建 export JAVA_HOME=/opt/module/jdk1.8.0_301 SPARK_MASTER_HOST=hadoop101 SPARK_MASTER_PORT=7077 bin/spark-submit \ --class org.apache.spa 阅读全文
posted @ 2022-01-05 17:13 持枢 阅读(89) 评论(0) 推荐(0)
【hadoop集群】三、hive添加tez、spark引擎
摘要： hive引擎指令设置 set hive.execution.engine=spark; 一、添加tez 1、解压到本地 mkdir /opt/module/tez tar -zxvf /opt/software/tez-0.10.1-SNAPSHOT-minimal.tar.gz -C /opt/m 阅读全文
posted @ 2022-01-05 10:03 持枢 阅读(278) 评论(0) 推荐(0)
2022年1月4日
【hadoop集群】二、安装hive3.1.2版本的hive2server配置
摘要： 一、启动脚本配置 hive2server启动后需要等一会 netstat -nplt |grep 10000 查看是否启动 #!/bin/bash HIVE_LOG_DIR=$HIVE_HOME/logs if [ ! -d $HIVE_LOG_DIR ] then mkdir -p $HIVE_L 阅读全文
posted @ 2022-01-04 23:23 持枢 阅读(292) 评论(0) 推荐(0)
【hadoop集群】一、安装hadoop3.1.3 核心配置文件内容以及可能出现的问题
摘要： 1. INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:41576. Already tried 0 time(s); 或者卡在 2022-01-04 01:26:35,209 INFO mapreduce.Job: R 阅读全文
posted @ 2022-01-04 14:27 持枢 阅读(590) 评论(0) 推荐(1)
2021年12月23日
【Hbase】rowkey设计以及二级索引
摘要： 一、rowkey设计 1、预分区[001|,002|,...] 2、分区 把数据均匀的分到这个10个预分区里面，通过几个列的数据拼接对分区数取余，比较散列，比较容易查询 3、rowkey的设计 分区键[001_,002_,...] 分区键+对应的列拼接成 4、验证 二、二级索引 1、全局索引，额外建 阅读全文
posted @ 2021-12-23 09:08 持枢 阅读(109) 评论(0) 推荐(0)
2021年12月12日
【数仓】一、基本了解
摘要： 一、数仓的安全性、一致性、可靠性 安全性：kerberos+ranger做权限管理 一致性质量监控：python+shell 可靠性：zabbix实现集群性能的可靠监控 元数据管理：atlas 二、需求 1、用户数据采集平台搭建 2、业务数据采集平台的搭建 3、数据仓库维度建模 4、分析设备、商品、 阅读全文
posted @ 2021-12-12 00:02 持枢 阅读(195) 评论(0) 推荐(0)