随笔分类 - nx架构10期

162-《大数据架构师》实时数仓项目实战（三）flink项目优化，集群个数电商业务指标，监控的restAPI，暂时没用

摘要：通过flink restApi进行监控 flink至少一次和精准一次两阶段提交阅读全文

posted @ 2022-09-16 22:26 十一vs十一阅读(91) 评论(0) 推荐(0)

161-《大数据架构师》实时数仓项目实战（二）maxweill全量导入和增量导入 hudi整合flink和hive 拆表逻辑暂时没用

摘要：hudi0.10自己进行编译 hudi中的数据映射到hive中将维度数据保存到redis 通过maxwell全量同步（数据量不是很大的时候）数据量比较大的情况通过maxwell同步数据建表需要加入导出条件字段这个是上面的例子加入导入条件拆表需要注意拆表代码阅读全文

posted @ 2022-09-16 17:50 十一vs十一阅读(116) 评论(0) 推荐(0)

160-《大数据架构师》实时数仓项目实战（一）lua集成openresty和kafka， openresty+lua+Nginx集成暂时没用

摘要：kafka分层主要就是分topic lua集成resty和kafka需要的jar包 lua脚本启动nginx 阅读全文

posted @ 2022-09-12 23:05 十一vs十一阅读(59) 评论(0) 推荐(0)

159-《大数据架构师》Kafka3新特性以及源码剖析（五）_ev

摘要：阅读全文

posted @ 2022-09-12 08:17 十一vs十一阅读(33) 评论(0) 推荐(0)

158-《大数据架构师》Kafka3新特性以及源码剖析（四）_ev

摘要：各个参数的解释阅读全文

posted @ 2022-09-11 18:23 十一vs十一阅读(48) 评论(0) 推荐(0)

156-《大数据架构师》Kafka3新特性以及源码剖析（二）_有用老师讲的太乱听不懂

摘要：服务端要干的事阅读全文

posted @ 2022-09-10 21:53 十一vs十一阅读(35) 评论(0) 推荐(0)

155-《大数据架构师》Kafka3新特性以及源码剖析（一）_ev

摘要：架构师主要做的事：调优，源码二次开发，最少的机器做最大的事 kafka3的新特性 kafka2和3的对比，ka2是通过选举出来控制节点。ka3是可以手动配置的查看kafka元数据信息安装gradle 设置kafka局部有序，但是性能降低，因为需要等待一个个发送多个deque队列32M，一个bu 阅读全文

posted @ 2022-09-10 15:02 十一vs十一阅读(257) 评论(0) 推荐(0)

154-《大数据架构师》Flink StreamTask 的逻辑执行和数据流转_ev

摘要：阅读全文

posted @ 2022-09-09 18:03 十一vs十一阅读(27) 评论(0) 推荐(0)

153-《大数据架构师》Flink Task 部署、初始化和启动详解_ev

摘要：去blobserver中去下载的相关资源 task之间相互传输数据是通过公共的nettyclient和nettyserver进行传输阅读全文

posted @ 2022-09-09 17:56 十一vs十一阅读(32) 评论(0) 推荐(0)

152-《大数据架构师》 Flink JobMaster 启动和 Slot资源管理_ev

摘要：阅读源码的技巧第五步 startshedule 遇到不知道该调用哪个方法时的思路 taskdeploymentdescriptor包含了task运行所需要各种信息阅读全文

posted @ 2022-09-09 09:19 十一vs十一阅读(46) 评论(0) 推荐(0)

151-《大数据架构师》Flink Slot 管理和 Task 部署执行详解_ev

摘要：阅读全文

posted @ 2022-09-08 16:29 十一vs十一阅读(33) 评论(0) 推荐(0)

《大数据架构师》Flink StreamTask 的逻辑执行和数据流转_ev

摘要：今日课程 excutiongaath的相关源码重试机制代码注册代码逻辑 flink代码提交和执行顺序客户端源码构成operaterchain的9个条件阅读全文

posted @ 2022-09-08 13:54 十一vs十一阅读(36) 评论(0) 推荐(0)

flinkCEP 没用

摘要：阅读全文

posted @ 2022-09-07 18:30 十一vs十一阅读(26) 评论(0) 推荐(0)

flink 源码

摘要：阅读全文

posted @ 2022-09-07 09:37 十一vs十一阅读(40) 评论(0) 推荐(0)

yarn配置调优查看每个节点jps脚本 namenode和yarn参数配置项目初期参数配置有用看2

摘要：公共调度不支持标签分组开启资源抢占测试代码 yarn 日志的相关配置查看每个节点jps脚本简历怎么写阅读全文

posted @ 2022-09-06 15:48 十一vs十一阅读(51) 评论(0) 推荐(0)

flink底层原理

摘要：阅读全文

posted @ 2022-09-06 06:14 十一vs十一阅读(45) 评论(0) 推荐(0)

flink CDC下载没用

摘要：maven找包地址 flink CDC和flink兼容阅读全文

posted @ 2022-09-05 23:23 十一vs十一阅读(18) 评论(0) 推荐(0)

flink的window flink内存一般有用看2 速

摘要：删除数据逻辑最后剩下的数据就是windowcount 阅读全文

posted @ 2022-09-04 17:08 十一vs十一阅读(24) 评论(0) 推荐(0)

ETL和配置cannal 没用

摘要：阅读全文

posted @ 2022-09-04 16:55 十一vs十一阅读(28) 评论(0) 推荐(0)

138-《大数据架构师》Flink 架构深剖到源码详解 01-深入理解 Flink 架构设计原理_ checkpoint原理背诵一般有用看2

摘要：看到阅读全文

posted @ 2022-08-25 00:11 十一vs十一阅读(33) 评论(0) 推荐(0)