RICH-ATONE

zkCleanup.sh工具解决zk占据磁盘过多问题

摘要：公司测试环境服务器用户主目录磁盘空间使用率100%，主目录下使用命令：du -h --max-dept=1 |sort -rh |head -n 10，查看占据磁盘最多的目录或文件，发现zookeeper目录占了150G，再细看，zk快照数据占了150G。据资料显示，zk每次快照都是将内存数据全量进阅读全文

posted @ 2022-06-20 19:09 RICH-ATONE 阅读(2317) 评论(0) 推荐(0)

clickhouse为啥快

摘要： ClickHouse在计算层做了⾮常细致的⼯作，竭尽所能榨⼲硬件能⼒，提升查询速度。它实现了单机多核并⾏、分布式计算、向量化执⾏与SIMD指令、代码⽣成等多种重要技术。一：列式存储 ①首先clickhouse采用列式存储，相对与行式存储，优势有对列的聚合、计数、求和优于行式存储。（行式存储针对某个阅读全文

posted @ 2022-06-14 18:16 RICH-ATONE 阅读(755) 评论(0) 推荐(0)

Linux批量替换文件名

摘要： Linux下修改⽂件名有mv和rename。其中mv命令只能对单个⽂件重命名，这是mv命令和rename命令的在重命名⽅⾯的根本区别。linux的rename命令有两个版本，一个是c语言版本的，一个是perl语言版本的，一般内置的都是C语言版本的；初始化创建测试文件： # touch test_{ 阅读全文

posted @ 2022-06-07 16:54 RICH-ATONE 阅读(3012) 评论(0) 推荐(0)

shell脚本中使用for循环开启并行方法

摘要：示例：参考： shell脚本中使用for循环开启并行方法阅读全文

posted @ 2022-05-28 12:25 RICH-ATONE 阅读(472) 评论(0) 推荐(0)

Hadoop-动态刷新hdfs/yarn配置

摘要：在很多时候，修改了hadoop的配置后，希望立即生效，但是线上还有任务在执行，不能重启，可以执行以下命令让修改后的hdfs/yarn配置生效； 0、刷新yarn集群的队列执行命令： ${HADOOP_HOME}/bin/yarn rmadmin -refreshQueues 或 yarn rmad 阅读全文

posted @ 2022-05-28 12:18 RICH-ATONE 阅读(1463) 评论(0) 推荐(0)

Shell脚本单引号、双引号和反引号的区别

摘要： Shell脚本单引号、双引号和反引号的区别阅读全文

posted @ 2022-05-19 18:03 RICH-ATONE 阅读(117) 评论(0) 推荐(0)

Hive中的文件存储格式TEXTFILE、SEQUENCEFILE、RCFILE、ORCFILE、Parquet 和 AVRO使用与区别详解

摘要：参考： https://blog.csdn.net/weixin_43230682/article/details/107185876 阅读全文

posted @ 2022-05-16 19:47 RICH-ATONE 阅读(158) 评论(0) 推荐(0)

Hive：如何解决NULL值引发的数据倾斜

摘要：实际业务中有些大量的null值或者一些无意义的数据参与到计算作业中，表中有大量的null值，如果表之间进行join操作，就会有shuffle产生，这样所有的null值都会被分配到一个reduce中，必然产生数据倾斜。疑问：NULL值和需要匹配的字段根本就匹配不上，为什么会进入到同一个reduce? 阅读全文

posted @ 2022-05-10 16:26 RICH-ATONE 阅读(1349) 评论(0) 推荐(0)

JetBrains全家桶破解

摘要：参考： https://tech.souyunku.com/?p=49896 https://souyunku.lanzoux.com/iccqv04bdz2b 阅读全文

posted @ 2022-05-08 17:17 RICH-ATONE 阅读(163) 评论(0) 推荐(0)

Mysql中索引key 、primary key 、unique key 与index区别

摘要： Mysql中索引key 、primary key 、unique key 与index区别阅读全文

posted @ 2022-04-28 19:10 RICH-ATONE 阅读(84) 评论(0) 推荐(0)