可以看看你胖次吗

摘要： 搬运大佬的博客 https://www.jianshu.com/p/405956cdaca6 阅读全文

摘要： https://www.cnblogs.com/muchen/p/5310732.html 阅读全文

摘要： Sqoop 抽数的并行化主要涉及到两个参数：num-mappers：启动N个map来并行导入数据，默认4个； split-by：按照某一列来切分表的工作单元。 split切分算法默认是根据主键来的：比如map 个数为4，取 （ 主键最大值 - 主键最小值 ）/ map 数量 ，这就分成了 4份，如果 阅读全文

摘要： http://trumandu.github.io/2019/07/08/kafka%E5%B9%82%E7%AD%89%E6%80%A7%E5%92%8C%E4%BA%8B%E5%8A%A1%E4%BD%BF%E7%94%A8%E5%8F%8A%E5%AE%9E%E7%8E%B0%E5%8E%9F 阅读全文

摘要： 转载 https://blog.csdn.net/qq2430/article/details/80511640 replace into和on duplcate key update都是只有在primary key或者unique key冲突的时候才会执行。如果数据存在，replace into则 阅读全文

摘要： 参考链接：https://www.jianshu.com/p/90e423f0722c 阅读全文

摘要： 附上官网链接 https://ci.apache.org/projects/flink/flink-docs-release-1.10/zh/ops/deployment/hadoop.html 方法一： 方法二： 个人体验 在我配置了Hadoop_classpath之后，还是会显示 org.apa 阅读全文

摘要： 需求 对订单信息流进行监控，15分钟之内没有支付的发出警告 Flink CEP 实现 import org.apache.flink.cep.scala.{CEP, PatternStream} import org.apache.flink.cep.scala.pattern.Pattern im 阅读全文

摘要： 需求 将五分钟之内的订单信息和支付信息进行对账，对不上的发出警告 代码实现 import org.apache.flink.api.common.state.{ValueState, ValueStateDescriptor} import org.apache.flink.api.scala.ty 阅读全文

摘要： 需求 查询一个小时之内的用户访问量（一个用户算一个） 难点：如果用户量很多，要想用Set等数据结构实现去重不太现实，随时都会OOM，这时就得利用布隆过滤器，先判断user是否存在，不存在则计数+1，存在则不做计算，这样能节省大量的内存空间 利用Flink官方实现的布隆过滤器来实现 package p 阅读全文

摘要： 需求 求每个小时内用户点击量的TOP3，每五分钟更新一次 bean： 利用底层API实现 import java.sql.Timestamp import org.apache.flink.api.common.functions.AggregateFunction import org.apach 阅读全文

摘要： 基本思想 与flink流的join原理不同的是，Spark双流join是对俩个流做满外连接 ，因为网络延迟等关系，不能保证每个窗口中的数据key都能匹配上，这样势必会出现三种情况：（some，some），（None，some），（Some,None）,根据这三种情况，下面做一下详细解析： （some 阅读全文

摘要： 参考链接https://blog.csdn.net/weixin_41279060/article/details/79045151?utm_medium=distribute.wap_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-2 阅读全文

摘要： 问题 在通过flink -jdbc 连接MySQL数据库时，发现程序报错表不存在 解决 在Linux下的MySQL默认对表名字的大小写敏感，而windows下默认不敏感 参考链接：https://www.cnblogs.com/kevingrace/p/6150748.html 阅读全文

摘要： 消费太慢 考虑增加Topic的分区数，并且同时提升消费组的消费者数量，消费者数=分区数。（两者缺一不可） 消费太快 参考来源：https://blog.csdn.net/weixin_33797791/article/details/88003844?utm_medium=distribute.pc 阅读全文