摘要：
1、目的 为了编译和打包过程中不加载一些依赖，可在依赖中配置Scope属性。 2、Scope属性 每个依赖项的Scope选项进行该jar包的相关操作设置，默认为compile，根据需要调整设置： （1）compile设置编译范围内有效，在编译和打包时都会将依赖项加载进去。 （2）test设置测试范围 阅读全文
posted @ 2020-06-14 21:01
YuanSai
阅读(3808)
评论(0)
推荐(0)
摘要：
1、目的 启动Flink任务方法的命令为 flink run flink.jar 但是有时候启动时需要向里面传入一些参数，比如配置文件的路径等。 2、带参执行命令 首先在代码中配置： ParameterTool parameters = ParameterTool.fromArgs(args); S 阅读全文
posted @ 2020-06-14 19:02
YuanSai
阅读(5948)
评论(0)
推荐(1)
摘要：
Hbase系统架构图 1、数据热点问题 产生数据热点问题的原因： （1）Hbase的数据是按照字典排序的，当大量连续的rowkey集中写到个别的region，各个region之间实际分布不均衡； （2）创建表时没有提前预分区，创建的表默认只有一个region，大量的数据写入当前region； （3） 阅读全文
posted @ 2020-06-14 17:47
YuanSai
阅读(1473)
评论(0)
推荐(0)
浙公网安备 33010602011771号