随笔分类 -  Hadoop

prometheus监控flink
摘要：背景 很久没写博客了，今天也算完成了一个小测试。由于flink没有监控的平台，只是自己写了python脚本去监控发报警。flink 自己的ui界面其实已经有很多的指标可以看了，但是就得自己一个一个的去找到，所以基于这个我想找个监控的平台去监控一下flink，google，官网，博客以后发现大多数用的 阅读全文
posted @ 2022-09-02 15:44 xiaoyon 阅读(2357) 评论(0) 推荐(1)
kafka eagle监控工具配置过程
摘要：前言 放个五一看会儿东西，学习kafka，学到了监控这一块，自己也不是运维，没有弄过，但是看到这一块，就要去实战一下，于是乎,开始。 正文 kafka eagle 官网地址 https://www.kafka-eagle.org/index.html 1、启动kafka zk 要想启动kafka，你 阅读全文
posted @ 2021-05-03 14:54 xiaoyon 阅读(1044) 评论(0) 推荐(1)
mr原理简单分析
摘要：背景 又是一个周末一天一天的过的好快，今天的任务干啥呢，索引总结一些mr吧，因为前两天有面试问过我？我当时也是简单说了一下，毕竟现在写mr程序的应该很少很少了，废话不说了，结合官网和自己理解写起。 官网 https://hadoop.apache.org/docs/r3.3.0/hadoop-map 阅读全文
posted @ 2020-08-23 17:01 xiaoyon 阅读(1967) 评论(0) 推荐(0)
Event Time
摘要：上游：https://www.cnblogs.com/hackerxiaoyon/p/12747387.html 事件时间、处理时间、摄入时间 处理时间：处理时间引用来自执行相应操作机器系统时间。 当一个流程序运行在处理时间，那么所有的操作都是基于机器的系统时间。一个小时窗口处理时间包括所有的数据就 阅读全文
posted @ 2020-08-18 17:44 xiaoyon 阅读(355) 评论(0) 推荐(0)
druid18.1版本single-server启动报错
摘要：正文 昨天下载了一个18版本的driud打算在虚拟机探究一下，然后按照官网的启动方式启动了，每个失败。官网是/bin/start-micro-quickstart，我们去看他的单机启动配置 http://druid.apache.org/docs/latest/operations/single-s 阅读全文
posted @ 2020-06-04 14:20 xiaoyon 阅读(537) 评论(0) 推荐(0)
Programming Model
摘要：上级：https://www.cnblogs.com/hackerxiaoyon/p/12747387.html Dataflow Programming Model 数据流的开发模型 Levels of Abstraction 抽象的分层 flink提供了不同的抽象分层来开发流和批的应用。 最底层 阅读全文
posted @ 2020-05-11 20:27 xiaoyon 阅读(345) 评论(0) 推荐(0)
Docker Playgrounds
摘要：上级：https://www.cnblogs.com/hackerxiaoyon/p/12747387.html Flink Operations Playground flink的操作场地，从这一小节，会学习到flink如何的去部署和监控应用，作业失败以后去恢复，执行日常作业任务像升级和重新调整。 阅读全文
posted @ 2020-05-06 21:14 xiaoyon 阅读(528) 评论(0) 推荐(0)
Code Walkthroughs Table API
摘要：上级：https://www.cnblogs.com/hackerxiaoyon/p/12747387.html Table API Table api 有批量的api和流实时的api。通常很容易进行数据分析、批量数据导入 和 做一些数据清洗的工作。 What Will You Be Buildin 阅读全文
posted @ 2020-04-29 23:48 xiaoyon 阅读(384) 评论(0) 推荐(0)
Flink1.10全文跟读翻译
摘要：前言 突然的一个想法，我想把flink官网英语版全部看一遍翻译出来，并且带上自己的理解。自己不是什么大神，只是想这样做一遍，有人说不是有中文版，因为我自己想练习一下英语和对flink的理解吧！工作是一步一步进行的，所以此博客会不断更新直到读完，希望能够坚持读完！能力有限，希望写的不对的地方，你能够纠 阅读全文
posted @ 2020-04-21 19:56 xiaoyon 阅读(379) 评论(0) 推荐(0)
Code Walkthroughs DataStream API
摘要：上级：https://www.cnblogs.com/hackerxiaoyon/p/12747387.html DataStream API DataStreamApi 提供了健壮，有状态的流应用，提供了细力度的控制基于状态和时间，事件驱动系统中可以高级实现。通过DataStreamApi 一步一 阅读全文
posted @ 2020-04-21 19:52 xiaoyon 阅读(616) 评论(0) 推荐(0)
Yarn一点小认识
摘要：正文 打开官网http://hadoop.apache.org/docs/r2.6.5/hadoop-yarn/hadoop-yarn-site/YARN.html，将图片拿过来。 我用的是2.6.5的hadoop，2.x的yarn已经进行了升级。首相映入眼帘的是Resource Manager,我 阅读全文
posted @ 2017-10-16 19:04 xiaoyon 阅读(176) 评论(0) 推荐(0)