star521

2021年8月19日

摘要：修改表的文件存储格式组织方式： ALTER TABLE table_name SET FILEFORMAT file_format alter table table_name set fileformat rcfile ALTER TABLE table_name CLUSTERED BY (co 阅读全文

posted @ 2021-08-19 10:23 star521 阅读(1188) 评论(0) 推荐(0)

007.hive组内拼接排序collect_list、sort_array

摘要： 4 主意:collect_set 只能返回不重复的集合若要返回带重复的要用collect_list 组内拼接排序 select occur_period , sort_array(collect_list(num_jdz_2)) from qhtest.num_zws_update_test gr 阅读全文

posted @ 2021-08-19 10:20 star521 阅读(1749) 评论(0) 推荐(0)

006.hive递增

摘要： hive递增 insert into table user_tables select ( concat ('sz000',row_number() over() ) ) 左填充 lpad() 右填充 rpad() 阅读全文

posted @ 2021-08-19 10:18 star521 阅读(143) 评论(0) 推荐(0)

005.hive分组求中位数--sort_array(collect_list(），insert overwrite table --- 实现字段update操作

摘要： select occur_period ,arr_1 ,case when size(arr_1)%2=1 then arr_1[cast((size(arr_1)-1)/2 as int )] else (arr_1[cast(size(arr_1)/2 as int) ]+arr_1[cast( 阅读全文

posted @ 2021-08-19 10:17 star521 阅读(545) 评论(0) 推荐(0)

004.hive 里的向上取整、向下取整、四舍五入取整

摘要： hive 里的向上取整、向下取整、四舍五入取整的实例.以及精确保留小数位数。【四舍五入取整截取】 select round(54.56,0) round至少保留一位小数。 55.0 【向下取整截取】 SELECT FLOOR(54.56) 54 【向上取整截取】 SELECT CEILING(13 阅读全文

posted @ 2021-08-19 10:11 star521 阅读(3287) 评论(0) 推荐(0)

003.hive选择tableName表中除了name、id、pwd之外的所有字段

摘要：选择tableName表中除了name、id、pwd之外的所有字段： set hive.support.quoted.identifiers=None; select `(name|id|pwd)?+.+` from tableName; 阅读全文

posted @ 2021-08-19 10:10 star521 阅读(130) 评论(0) 推荐(0)

2021年8月17日

003.flink-flink集群安装HA

摘要：规划 s101(master+slave) s102(master+slave) s103(slave) 将tar包分发到每个节点 [centos@s101 /home/centos]$xsync.sh flink-1.10.1-bin-scala_2.12.tgz 解压tar包 xcall.sh 阅读全文

posted @ 2021-08-17 13:03 star521 阅读(146) 评论(0) 推荐(0)

002.flink打jar包时只打包代码，依赖jar包批量指定

摘要：执行脚本完整版 [centos@s101 /home/centos]$flink run -m yarn-cluster -yt /home/centos/hadoop_dependent_jar -yjm 1024 -ytm 1536 -yn 2 -ys 3 -yqu root.centos -y 阅读全文

posted @ 2021-08-17 11:28 star521 阅读(1147) 评论(0) 推荐(0)

001.如何通过进程号查看进程所依赖的jar包，cd /proc/92232/fd

摘要： [centos@s101 /proc/92232/fd]$jps 82100 JobHistoryServer 92983 NameNode 93783 Master 92232 DFSZKFailoverController 114094 Jps [centos@s101 /proc/92232/ 阅读全文

posted @ 2021-08-17 09:44 star521 阅读(228) 评论(0) 推荐(0)

2021年8月13日

002.hive-UDF自定义函数

摘要： IDEA 配置文件 pom.xml <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchem 阅读全文

posted @ 2021-08-13 12:11 star521 阅读(93) 评论(0) 推荐(0)

2021年8月11日

02.spark-spark分布式安装

摘要： 1.规划三台服务器 s101 //master(进程) s102 ~ s104 //worker(进程) 2.在每个主机上分别安装spark tar -zxvf /home/centos/download/spark-2.1.1-bin-hadoop2.7.tgz -C /soft/ ln -s 阅读全文

posted @ 2021-08-11 20:03 star521 阅读(144) 评论(0) 推荐(0)

2021年8月5日

052.PGSQL-search_path参数修改了postgresql.conf没有生效，应该修改这个配置postgresql.auto.conf文件，postgresql.auto.conf修改系统文件。配置是否被成功应用 pg_file_settings

摘要： search_path修改了postgresql.conf没有生效，应该修改这个配置postgresql.auto.conf文件修改了postgresql.conf没有生效优先级 postgresql.auto.conf > postgresql.conf 方法1 修改 postgresql. 阅读全文

posted @ 2021-08-05 20:57 star521 阅读(1595) 评论(0) 推荐(0)

051.PGSQL-postgres的.bash_profile 、.psqlrc、.psql_history、.bash_history文件

摘要： [root@s101 /var/lib/pgsql]#cat .bash_profile ./.bash_profile./.psql_history./.bash_history./.psqlrc .bash_profile 系统变量 .psql_history 历史操作的sql语句 .bash_ 阅读全文

posted @ 2021-08-05 16:28 star521 阅读(273) 评论(0) 推荐(0)

050.PGSQL-物理复制（流复制）和逻辑复制-异步流复制

摘要：物理复制（流复制）和逻辑复制区别物理复制（流复制）逻辑复制基于wal物理复制基于wal逻辑解析实例级复制可对表级复制可对ddl操作进行复制 ddl操作不可复制主库可读写主库可读写从库可读不可写从库可读写大版本必须一致支持跨大版本复制物理复制（流复制）主库/primar 阅读全文

posted @ 2021-08-05 16:04 star521 阅读(441) 评论(0) 推荐(0)

2021年8月3日

048.PGSQL-data目录分析

摘要：阅读全文

posted @ 2021-08-03 20:55 star521 阅读(72) 评论(0) 推荐(0)

公告