持枢

摘要： 一、2.3.5版本 2022-01-19 19:07:49,537 INFO [main] HiveMetaStore.audit (HiveMetaStore.java:logAuditEvent(309)) - ugi=zhyx ip=unknown-ip-addr cmd=Done clean 阅读全文

摘要： 一、vim hive-site.xml <?xml version="1.0" encoding="UTF-8" standalone="no"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <configuration> 阅读全文

摘要： spark-sql --master yarn 阅读全文

摘要： 一、hadoop集群的kerberos认证 1、hadoop101节点下的三个主体认证 kinit -kt /etc/security/keytab/nn.service.keytab nn/hadoop101 2、修改hadoop101节点下的配置文件进行分发 core-site.xml <!-- 阅读全文

摘要： 一、job文件编写 #sqoop job type=command command=/szzhyx/shell/mysql2hive_init.sh all ${dt} 打包成zip 阅读全文

摘要： 一、首日全量同步 #! /bin/bash APP=hospital_data_center APP2=hospital_data_center_sh if [ -n "$2" ] ;then do_date=$2 else echo "请传入日期参数" exit fi import_data(){ 阅读全文

摘要： 一、local本地模式 二、spark-standalone模式 三、yarn模式 目前最多的是yarn模式，资源同一调度 提交脚本 spark-submit --class org.apache.spark.examples.SparkPi \--master yarn \--deploy-mod 阅读全文

摘要： 一、创建分区表 MSCK REPAIR TABLE zhyx_base_knowledge.ods_basic_dict_drug; DROP TABLE IF EXISTS ods_v_user_info; CREATE EXTERNAL TABLE ods_v_user_info( `id` S 阅读全文

摘要： 一、下载系统自带mysql rpm -qa|grep mariadb sudo rpm -e --nodeps mariadb-libs 二、执行安装包里面的软件 五个 yum install -y libaio sudo rpm -ivh 五个 三、删除mysql库下的信息，初始化mysql cd 阅读全文

摘要： CREATE TABLE ods_stat_hospital( id bigint, hospital_code string comment '医院编码', primary_id string comment 'his的主键id', dept_name string, stat_date stri 阅读全文