01 2022 档案

【大数据】hive版本问题
摘要：一、2.3.5版本 2022-01-19 19:07:49,537 INFO [main] HiveMetaStore.audit (HiveMetaStore.java:logAuditEvent(309)) - ugi=zhyx ip=unknown-ip-addr cmd=Done clean 阅读全文
posted @ 2022-01-19 19:38 持枢 阅读(525) 评论(0) 推荐(0)
【大数据基础】hive的配置文件
摘要：一、vim hive-site.xml <?xml version="1.0" encoding="UTF-8" standalone="no"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <configuration> 阅读全文
posted @ 2022-01-19 11:25 持枢 阅读(217) 评论(0) 推荐(0)
【大数据基础】spark本地运行spark-sql
摘要：spark-sql --master yarn 阅读全文
posted @ 2022-01-15 10:21 持枢 阅读(175) 评论(0) 推荐(0)
【kerberos】
摘要：一、hadoop集群的kerberos认证 1、hadoop101节点下的三个主体认证 kinit -kt /etc/security/keytab/nn.service.keytab nn/hadoop101 2、修改hadoop101节点下的配置文件进行分发 core-site.xml <!-- 阅读全文
posted @ 2022-01-14 09:05 持枢 阅读(196) 评论(0) 推荐(0)
【大数据基础】azkabna任务调度脚本
摘要：一、job文件编写 #sqoop job type=command command=/szzhyx/shell/mysql2hive_init.sh all ${dt} 打包成zip 阅读全文
posted @ 2022-01-13 11:08 持枢 阅读(55) 评论(0) 推荐(0)
【sqoop】同步脚本
摘要：一、首日全量同步 #! /bin/bash APP=hospital_data_center APP2=hospital_data_center_sh if [ -n "$2" ] ;then do_date=$2 else echo "请传入日期参数" exit fi import_data(){ 阅读全文
posted @ 2022-01-11 11:21 持枢 阅读(110) 评论(0) 推荐(0)
【大数据基础】spark模式以及提交脚本
摘要：一、local本地模式 二、spark-standalone模式 三、yarn模式 目前最多的是yarn模式，资源同一调度 提交脚本 spark-submit --class org.apache.spark.examples.SparkPi \--master yarn \--deploy-mod 阅读全文
posted @ 2022-01-11 09:00 持枢 阅读(86) 评论(0) 推荐(0)
【大数据基础】hive建表
摘要：一、创建分区表 MSCK REPAIR TABLE zhyx_base_knowledge.ods_basic_dict_drug; DROP TABLE IF EXISTS ods_v_user_info; CREATE EXTERNAL TABLE ods_v_user_info( `id` S 阅读全文
posted @ 2022-01-11 08:45 持枢 阅读(287) 评论(0) 推荐(0)
【大数据基础】五、mysql安装
摘要：一、下载系统自带mysql rpm -qa|grep mariadb sudo rpm -e --nodeps mariadb-libs 二、执行安装包里面的软件 五个 yum install -y libaio sudo rpm -ivh 五个 三、删除mysql库下的信息，初始化mysql cd 阅读全文
posted @ 2022-01-10 08:23 持枢 阅读(37) 评论(0) 推荐(0)
【大数据基本】四、sqoop
摘要：CREATE TABLE ods_stat_hospital( id bigint, hospital_code string comment '医院编码', primary_id string comment 'his的主键id', dept_name string, stat_date stri 阅读全文
posted @ 2022-01-08 17:18 持枢 阅读(92) 评论(0) 推荐(0)
【大数据基础】三、常规脚本编写
摘要：一、同步脚本 vim xsync #!/bin/bash #1. 判断参数个数 if [ $# -lt 1 ] then echo Not Enough Arguement! exit; fi #2. 遍历集群所有机器 for host in hadoop101 hadoop102 hadoop10 阅读全文
posted @ 2022-01-08 15:38 持枢 阅读(125) 评论(0) 推荐(0)
【大数据基础】三、hadoop核心配置文件
摘要：一、vim core-site.xml <!-- core指定 NameNode 的地址 --> <property> <name>fs.defaultFS</name> <value>hdfs://hadoop101:8020</value> </property> <!-- 指定 hadoop 阅读全文
posted @ 2022-01-08 14:45 持枢 阅读(317) 评论(1) 推荐(0)
【Hadoop集群】五、zookeeper、hbase安装
摘要：一、zookeeper启动脚本 if [ $# -lt 1 ] then echo "No Args Input..." exit ; fi case $1 in "start") echo " 启动 zookeeper 集群 " echo " 启动 hadoop101 " ssh hadoop10 阅读全文
posted @ 2022-01-05 21:09 持枢 阅读(66) 评论(0) 推荐(0)
【Hadoop集群】四、时间同步
摘要：一、安装ntpd yum install -y ntp ntpd 查看时区 要是cst timedatectl 修改时区 timedatectl set-timezone Asia/Shanghai 查看状态sudo systemctl status ntpd 启动 sudo systemctl s 阅读全文
posted @ 2022-01-05 19:52 持枢 阅读(182) 评论(0) 推荐(0)
【Spark集群】一、配置搭建
摘要：一、standalone的搭建 export JAVA_HOME=/opt/module/jdk1.8.0_301 SPARK_MASTER_HOST=hadoop101 SPARK_MASTER_PORT=7077 bin/spark-submit \ --class org.apache.spa 阅读全文
posted @ 2022-01-05 17:13 持枢 阅读(101) 评论(0) 推荐(0)
【hadoop集群】三、hive添加tez、spark引擎
摘要：hive引擎指令设置 set hive.execution.engine=spark; 一、添加tez 1、解压到本地 mkdir /opt/module/tez tar -zxvf /opt/software/tez-0.10.1-SNAPSHOT-minimal.tar.gz -C /opt/m 阅读全文
posted @ 2022-01-05 10:03 持枢 阅读(295) 评论(0) 推荐(0)
【hadoop集群】二、安装hive3.1.2版本的hive2server配置
摘要：一、启动脚本配置 hive2server启动后需要等一会 netstat -nplt |grep 10000 查看是否启动 #!/bin/bash HIVE_LOG_DIR=$HIVE_HOME/logs if [ ! -d $HIVE_LOG_DIR ] then mkdir -p $HIVE_L 阅读全文
posted @ 2022-01-04 23:23 持枢 阅读(309) 评论(0) 推荐(0)
【hadoop集群】一、安装hadoop3.1.3 核心配置文件内容以及可能出现的问题
摘要：1. INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:41576. Already tried 0 time(s); 或者卡在 2022-01-04 01:26:35,209 INFO mapreduce.Job: R 阅读全文
posted @ 2022-01-04 14:27 持枢 阅读(605) 评论(0) 推荐(1)