摘要：
flink1.12 hadoop kafka hbase zookeeper redis 阅读全文
posted @ 2021-11-18 10:14
star521
阅读(56)
评论(0)
推荐(0)
摘要：
hive查询表大小 查询表在hdfs的地址 show create table xxx 查询表大小 hdfs dfs -du -h 查询表的格式（内部表还是外部表、表的存储格式） desc formatted iocgjk_new.o_ls_kcw_t_kcw_xtcx_gjgdyjpt102593 阅读全文
posted @ 2021-11-17 13:52
star521
阅读(773)
评论(0)
推荐(0)
摘要：
https://blog.csdn.net/join_null/article/details/108264010?utm_medium=distribute.pc_relevant.none-task-blog-2~default~baidujs_baidulandingword~default- 阅读全文
posted @ 2021-11-17 11:49
star521
阅读(86)
评论(0)
推荐(0)
摘要：
-- 删除分区 alter table employee_table drop partition (stat_year_month>='2018-01'); 修复分区、删除分区、添加分区、显示分区 MSCK REPAIR TABLE table_name; https://www.cnblogs. 阅读全文
posted @ 2021-11-17 11:46
star521
阅读(334)
评论(0)
推荐(0)
摘要：
问题 修改分区表的列（添加列）但是查询数据为null 原因 修改分区表导致分区字段元数据出问题，需要更新分区信息 解决方法1：修改元数据 https://blog.csdn.net/gxd520/article/details/92791487?utm_medium=distribute.pc_re 阅读全文
posted @ 2021-11-17 11:22
star521
阅读(227)
评论(0)
推荐(0)
摘要：
hive通过with创建临时表 overwrite重新分区表 阅读全文
posted @ 2021-11-17 11:20
star521
阅读(217)
评论(0)
推荐(0)
摘要：
hive-load上传数据到hive表 hive表数据导出到本地为csv hive -e "set hive.cli.print.header=true; #将表头输出 select * from data_table where some_query_conditions" | sed 's/[\ 阅读全文
posted @ 2021-11-17 11:18
star521
阅读(518)
评论(0)
推荐(0)
摘要：
ModuleNotFoundError: No module named 'pymysql'解决方法更新conda [root@star /root/anaconda3/bin]#conda update conda 安装模块[root@star /root/anaconda3/bin]#conda 阅读全文
posted @ 2021-11-02 01:08
star521
阅读(259)
评论(0)
推荐(0)
摘要：
018.hive-hive两个表leftjoin，由于关联字段类型不同导致的数据错误（bigint、string） select b1.member_id b1,b2.member_id b2 from tmp1_ads_cstm_member_balance b1 left join tmp2_a 阅读全文
posted @ 2021-10-21 14:56
star521
阅读(1124)
评论(0)
推荐(0)
摘要：
解决办法 SELECT * FROM A WHERE IFNULL(B1,'') != 1 原始数据 不等于过滤某个值，把null也过滤掉了 解决办法为null时临时复制'' 阅读全文
posted @ 2021-10-14 10:21
star521
阅读(407)
评论(0)
推荐(0)
摘要：
解压文件 D:\bigdata\spark2.1.0\spark-2.1.0-bin-hadoop2.7\bin 创建文件 spark scalahadoop scalascala sparkhive hadoop bin目录下 spark-shell.cmd 读文件处理文件 scala> sc.t 阅读全文
posted @ 2021-09-02 01:43
star521
阅读(659)
评论(0)
推荐(0)
摘要：
resources下 log4j.properties 文件 log4j.rootCategory=ERROR, console log4j.appender.console=org.apache.log4j.ConsoleAppender log4j.appender.console.target 阅读全文
posted @ 2021-09-02 01:40
star521
阅读(441)
评论(0)
推荐(0)
摘要：
show databases; show tables; 系统自带的函数 1）查看系统自带的函数 hive> show functions; 2）显示自带的函数的用法 hive> desc function upper; 3）详细显示自带的函数的用法 hive> desc function exte 阅读全文
posted @ 2021-08-19 12:29
star521
阅读(2904)
评论(1)
推荐(0)
摘要：
spark下 [root@s101 /soft/spark/bin]#./beeline Beeline version 1.2.1.spark2 by Apache Hive beeline> !connect jdbc:hive2://s101:10000/mydb 0: jdbc:hive2: 阅读全文
posted @ 2021-08-19 10:42
star521
阅读(171)
评论(0)
推荐(0)
摘要：
hive--lead()上浮、lag()下沉--求同比 select occur_period ,occur_period_year ,occur_period_month ,org_name ,people_num ,people_num_2 -- （今年这个月人数 - 去年这个月人数）/去年这个 阅读全文
posted @ 2021-08-19 10:24
star521
阅读(103)
评论(0)
推荐(0)
浙公网安备 33010602011771号