摘要:之前写了一些关于RPC原理的文章,但是觉得还得要实现一个。之前看到一句话觉得非常有道理,与大家共勉。不是“不要重复造轮子”,而是“不要发明轮子”,所以能造轮子还是需要造的。 如果大家还有不了解原理的,可参考我之前写的“RPC原理”,点击即可通过“飞机票”过去。 这篇文章的梗概如下: 1. 介绍一下这 阅读全文
posted @ 2020-02-10 20:13 黄青石 阅读 (40) 评论 (0) 编辑
摘要:当数据进入Flink的时候,数据需要带入相应的时间,根据相应的时间进行处理。 让咱们想象一个场景,有一个队列,分别带着指定的时间,那么处理的时候,需要根据相应的时间进行处理,比如:统计最近五分钟的访问量,那么就需要知道数据到来的时间。五分钟以内的数据将会被计入,超过五分钟的将会计入下一个计算窗口。 阅读全文
posted @ 2020-01-11 13:37 黄青石 阅读 (78) 评论 (0) 编辑
摘要:JobManager协调每个flink应用的部署,它负责执行定时任务和资源管理。 每一个Flink集群都有一个jobManager, 如果jobManager出现问题之后,将不能提交新的任务和运行新任务失败,这样会造成单点失败,所以需要构建高可用的JobMangager。 类似zookeeper一样 阅读全文
posted @ 2020-01-01 17:23 黄青石 阅读 (95) 评论 (0) 编辑
摘要:flink会把数据分成不同的窗口,然后进行汇总和统计。 flink的窗口分为timeWindow, countWindow, sessionWindow, gapWindow。 timeWindow分为基于时间的滚动窗口和滑动窗口。 举个例子,统计每60秒的访问量需要的就是滚动窗口;每5分钟统计一次 阅读全文
posted @ 2019-12-25 22:02 黄青石 阅读 (46) 评论 (0) 编辑
摘要:topN功能是一个非常常见的功能,比如查看最近几分钟的阅读最高数,购买最高数。 flink实现topN的功能也非常方便,下面就开始构建一个flink topN的程序。 还是像上篇博客一样,从kafka读取数据,然后进行计算和数据转换,最后sink到mysql中。 假设有个需求,实现一个统计每5分钟最 阅读全文
posted @ 2019-12-15 10:48 黄青石 阅读 (360) 评论 (1) 编辑
摘要:最近flink已经变得比较流行了,所以大家要了解flink并且使用flink。现在最流行的实时计算应该就是flink了,它具有了流计算和批处理功能。它可以处理有界数据和无界数据,也就是可以处理永远生产的数据。具体的细节我们不讨论,我们直接搭建一个flink功能。总体的思路是source -> tra 阅读全文
posted @ 2019-12-07 21:27 黄青石 阅读 (354) 评论 (5) 编辑
摘要:在使用Springboot的时候,都要涉及到服务的停止和启动,当我们停止服务的时候,很多时候大家都是kill -9 直接把程序进程杀掉,这样程序不会执行优雅的关闭。而且一些没有执行完的程序就会直接退出。 我们很多时候都需要安全的将服务停止,也就是把没有处理完的工作继续处理完成。比如停止一些依赖的服务 阅读全文
posted @ 2019-08-17 20:45 黄青石 阅读 (3143) 评论 (2) 编辑
摘要:随着互联网的数据量越来越大,很多单表的数据量已经上亿了,甚至更多,这样单表的数据已经达到了查询的瓶颈,那么就需要将数据库进行拆分。 如何有效的进行数据库拆分呢,而且在互联网公司停机进行数据库处理不是很现实,因为影响了业务量。那么就需要更好的方法去进行解决。 首先咱们先准备一下数据库,然后将数据库建立 阅读全文
posted @ 2019-07-28 18:00 黄青石 阅读 (196) 评论 (0) 编辑
摘要:很多大的互联网公司数据量很大,都采用分库分表,那么分库后就需要统一的唯一ID进行存储。这个ID可以是数字递增的,也可以是UUID类型的。 如果是递增的话,那么拆分了数据库后,可以按照id的hash,均匀的分配到数据库中,并且mysql数据库如果将递增的字段作为主键存储的话会大大提高存储速度。但是如果 阅读全文
posted @ 2019-07-27 20:34 黄青石 阅读 (1425) 评论 (6) 编辑
摘要:我们在使用netty的时候会使用一个参数,ChannelOption.SO_KEEPALIVE为true, 设置好了之后再Linux系统才会对keepalive生效,但是linux里边需要配置几个参数,tcp_keepalive_time, tcp_keepalive_invl, tcp_keepa 阅读全文
posted @ 2019-05-19 11:48 黄青石 阅读 (625) 评论 (0) 编辑