JUST DO IT

摘要： docker的使用越来越普遍了，大家不知道docker的还需要进一步学习一下。这次咱们使用docker去进行hadoop集群的构建。 使用docker构建的好处真的很多，一台电脑上可以学习安装很多想做的东西，可以说是一个docker可以虚拟你想使用的任何环境。大家知道安装hadoop需要很多机器和资 阅读全文

摘要： 随着Flink 1.10的发布，对SQL的支持也非常强大。Flink 还提供了 MySql, Hive，ES, Kafka等连接器Connector，所以使用起来非常方便。 接下来咱们针对构建流式SQL应用文章的梗概如下： 1. 搭建流式SQL应用所需要的环境准备。 2. 构建一个按每小时进行统计购 阅读全文

摘要： Flink不同于其他实时计算的框架之处是它可以提供针对不同的状态进行编程和计算。本篇文章的主要思路如下，大家可以选择性阅读。 1. Flink的状态分类及不同点。 2. Flink针对不同的状态进行编程。 3. 检查点机制和配置。 4. 状态的存储。 Flilnk的状态分类及不同点 Flink有两种 阅读全文

摘要： Flink提供了像表一样处理的API和像执行SQL语句一样把结果集进行执行。这样很方便的让大家进行数据处理了。比如执行一些查询，在无界数据和批处理的任务上，然后将这些按一定的格式进行输出，很方便的让大家像执行SQL一样简单。 今天主要写的东西分为如下几个方面，然后遵循着下边几个方面进行展开： 1.  阅读全文

摘要： 之前写了一些关于RPC原理的文章，但是觉得还得要实现一个。之前看到一句话觉得非常有道理，与大家共勉。不是“不要重复造轮子”，而是“不要发明轮子”，所以能造轮子还是需要造的。 如果大家还有不了解原理的，可参考我之前写的“RPC原理”，点击即可通过“飞机票”过去。 这篇文章的梗概如下： 1. 介绍一下这 阅读全文

摘要： 当数据进入Flink的时候，数据需要带入相应的时间，根据相应的时间进行处理。 让咱们想象一个场景，有一个队列，分别带着指定的时间，那么处理的时候，需要根据相应的时间进行处理，比如：统计最近五分钟的访问量，那么就需要知道数据到来的时间。五分钟以内的数据将会被计入，超过五分钟的将会计入下一个计算窗口。 阅读全文

摘要： JobManager协调每个flink应用的部署，它负责执行定时任务和资源管理。 每一个Flink集群都有一个jobManager, 如果jobManager出现问题之后，将不能提交新的任务和运行新任务失败，这样会造成单点失败，所以需要构建高可用的JobMangager。 类似zookeeper一样 阅读全文

摘要： flink会把数据分成不同的窗口，然后进行汇总和统计。 flink的窗口分为timeWindow, countWindow, sessionWindow, gapWindow。 timeWindow分为基于时间的滚动窗口和滑动窗口。 举个例子，统计每60秒的访问量需要的就是滚动窗口；每5分钟统计一次 阅读全文

摘要： topN功能是一个非常常见的功能，比如查看最近几分钟的阅读最高数，购买最高数。 flink实现topN的功能也非常方便，下面就开始构建一个flink topN的程序。 还是像上篇博客一样，从kafka读取数据，然后进行计算和数据转换，最后sink到mysql中。 假设有个需求，实现一个统计每5分钟最 阅读全文

摘要： 最近flink已经变得比较流行了，所以大家要了解flink并且使用flink。现在最流行的实时计算应该就是flink了，它具有了流计算和批处理功能。它可以处理有界数据和无界数据，也就是可以处理永远生产的数据。具体的细节我们不讨论，我们直接搭建一个flink功能。总体的思路是source -> tra 阅读全文