摘要：
背景 很久没写博客了，今天也算完成了一个小测试。由于flink没有监控的平台，只是自己写了python脚本去监控发报警。flink 自己的ui界面其实已经有很多的指标可以看了，但是就得自己一个一个的去找到，所以基于这个我想找个监控的平台去监控一下flink，google，官网，博客以后发现大多数用的 阅读全文
摘要：
前言 放个五一看会儿东西，学习kafka，学到了监控这一块，自己也不是运维，没有弄过，但是看到这一块，就要去实战一下，于是乎,开始。 正文 kafka eagle 官网地址 https://www.kafka-eagle.org/index.html 1、启动kafka zk 要想启动kafka，你 阅读全文
摘要：
上级：https://www.cnblogs.com/hackerxiaoyon/p/12747387.html 每个函数和算子都可以有状态在flink中。状态的函数存储数据通过独立的元素或事件处理。为了让状态具有容错性，flink需要把状态进行快照。检查点允许flink恢复状态和位置在流中，从而是 阅读全文
摘要：
上级： https://www.cnblogs.com/hackerxiaoyon/p/12747387.html 状态启动描述了操作算子的状态，在恢复时，该状态是均匀分布在操作算子的并行任务之间，或者是合并的，整个状态用于初始化恢复的并行任务。 支持状态算子的第三类是广播状态。广播状态就是在我们接 阅读全文
摘要：
背景 又是一个周末一天一天的过的好快，今天的任务干啥呢，索引总结一些mr吧，因为前两天有面试问过我？我当时也是简单说了一下，毕竟现在写mr程序的应该很少很少了，废话不说了，结合官网和自己理解写起。 官网 https://hadoop.apache.org/docs/r3.3.0/hadoop-map 阅读全文
摘要：
上游：https://www.cnblogs.com/hackerxiaoyon/p/12747387.html 事件时间、处理时间、摄入时间 处理时间：处理时间引用来自执行相应操作机器系统时间。 当一个流程序运行在处理时间，那么所有的操作都是基于机器的系统时间。一个小时窗口处理时间包括所有的数据就 阅读全文
摘要：
正文 这一周都在搞这个dynamic programming，感觉确实是不光是看视频还是自己的琢磨，题看懂了听懂了，但是一下手就写着写着就停笔了。然后再看人家的答案，好的答案越看越明白，不好的答案越看越迷糊。总结一下，有时候答案可能翻一下才会恍然大悟！ 以一道leetcode的题为列子说一下我的感受 阅读全文
摘要：
前言 一直以来我都是从书上、博客上、别人口中听说数据倾斜，自己也从而指导一些解决数据倾斜的方式或者一些容易出现数据倾斜的场景。但是从来没有认真的去发现过，寻求过，研究过。 正文 我打开了hive官网 点开了 document文档 然后呢，一个一个的去找倾斜的地方，找了一会儿发现了一个地方，看到了一个 阅读全文
摘要：
上级：https://www.cnblogs.com/hackerxiaoyon/p/12747387.html Tasks and Operator Chains 任务和操作链 对于分布式执行器，flink将操作子任务一起放到任务中。每一个任务被一个线程执行。将操作符链接到任务中是一种有用的优化： 阅读全文
摘要：
正文 昨天下载了一个18版本的driud打算在虚拟机探究一下，然后按照官网的启动方式启动了，每个失败。官网是/bin/start-micro-quickstart，我们去看他的单机启动配置 http://druid.apache.org/docs/latest/operations/single-s 阅读全文