2022年1月11日
【sqoop】同步脚本
摘要： 一、首日全量同步 #! /bin/bash APP=hospital_data_center APP2=hospital_data_center_sh if [ -n "$2" ] ;then do_date=$2 else echo "请传入日期参数" exit fi import_data(){ 阅读全文
posted @ 2022-01-11 11:21 持枢 阅读(106) 评论(0) 推荐(0)
【大数据基础】spark模式以及提交脚本
摘要： 一、local本地模式 二、spark-standalone模式 三、yarn模式 目前最多的是yarn模式，资源同一调度 提交脚本 spark-submit --class org.apache.spark.examples.SparkPi \--master yarn \--deploy-mod 阅读全文
posted @ 2022-01-11 09:00 持枢 阅读(74) 评论(0) 推荐(0)
【大数据基础】hive建表
摘要： 一、创建分区表 MSCK REPAIR TABLE zhyx_base_knowledge.ods_basic_dict_drug; DROP TABLE IF EXISTS ods_v_user_info; CREATE EXTERNAL TABLE ods_v_user_info( `id` S 阅读全文
posted @ 2022-01-11 08:45 持枢 阅读(268) 评论(0) 推荐(0)