摘要: Apache Flink 社区迎来了激动人心的两位数位版本号,Flink 1.10.0 正式宣告发布!作为 Flink 社区迄今为止规模最大的一次版本升级,Flink 1.10 容纳了超过 200 位贡献者对超过 1200 个 issue 的开发实现,包含对 Flink 作业的整体性能及稳定性的显著 阅读全文
posted @ 2020-02-17 09:50 余温log 阅读(678) 评论(0) 推荐(0)
摘要: 1. 设计模式的分类 总体来说设计模式分为三大类: 创建型模式,共五种:单例模式、原型模式、工厂方法模式、抽象工厂模式、建造者模式。 结构型模式,共七种:适配器模式、装饰器模式、代理模式、外观模式、桥接模式、组合模式、享元模式。 行为型模式,共十一种:策略模式、模板方法模式、观察者模式、迭代子模式、 阅读全文
posted @ 2020-01-13 14:20 余温log 阅读(533) 评论(0) 推荐(0)
摘要: 1. HBase连接的方式概况 主要分为: 纯Java API读写HBase的方式; Spark读写HBase的方式; Flink读写HBase的方式; HBase通过Phoenix读写的方式; 第一种方式是HBase自身提供的比较原始的高效操作方式,而第二、第三则分别是Spark、Flink集成H 阅读全文
posted @ 2020-01-13 11:44 余温log 阅读(2585) 评论(0) 推荐(1)
摘要: hbase 依赖 <dependency> <groupId>org.apache.hbase</groupId> <!--shaded主要是解决jar包冲突--> <artifactId>hbase-shaded-client</artifactId> <version>1.3.1</versio 阅读全文
posted @ 2020-01-10 16:30 余温log 阅读(1697) 评论(1) 推荐(0)
摘要: 一、启动Kafka集群和flink集群 环境变量配置(注:kafka 3台都需要设置,flink仅master设置就好) [root@master ~]# vim /etc/profile 配置完执行命令: [root@master ~]# source /etc/profile 2.创建执行文件, 阅读全文
posted @ 2020-01-10 16:03 余温log 阅读(10201) 评论(0) 推荐(0)
摘要: 随着人口红利的慢慢削减,互联网产品的厮杀愈加激烈,大家开始看好下沉市场的潜力,拼多多,趣头条等厂商通过拉新奖励,购物优惠等政策率先抢占用户,壮大起来。其他各厂商也紧随其后,纷纷推出自己产品的极速版,如今日头条极速版,腾讯新闻极速版等,也通过拉新奖励,阅读奖励等政策来吸引用户。 对于这类APP,实时风 阅读全文
posted @ 2020-01-09 17:17 余温log 阅读(2210) 评论(0) 推荐(0)
摘要: 实战案例介绍 本案例将实现一个“实时热门商品”的需求,我们可以将“实时热门商品”翻译成程序员更好理解的需求:每隔5分钟输出最近一小时内点击量最多的前 N 个商品。 将这个需求进行分解我们大概要做这么几件事情: 抽取出业务时间戳,告诉 Flink 框架基于业务时间做窗口 过滤出点击行为数据 按一小时的 阅读全文
posted @ 2020-01-08 17:06 余温log 阅读(4264) 评论(1) 推荐(1)
摘要: 看完本文,你能get到以下知识 Flink 流处理为什么需要网络流控? Flink V1.5 版之前网络流控介绍 Flink V1.5 版之前的反压策略存在的问题 Credit的反压策略实现原理,Credit是如何解决 Flink 1.5 之前的问题? 对比spark,都说flink延迟低,来一条处 阅读全文
posted @ 2020-01-07 15:17 余温log 阅读(505) 评论(0) 推荐(1)
摘要: 博客 1、Flink 从0到1学习 —— Apache Flink 介绍 2、Flink 从0到1学习 —— Mac 上搭建 Flink 1.6.0 环境并构建运行简单程序入门 3、Flink 从0到1学习 —— Flink 配置文件详解 4、Flink 从0到1学习 —— Data Source 阅读全文
posted @ 2020-01-07 15:16 余温log 阅读(262) 评论(0) 推荐(1)