摘要： 通过flink restApi进行监控 flink至少一次和精准一次 两阶段提交 阅读全文

摘要： hudi0.10自己进行编译 hudi中的数据映射到hive中 将维度数据保存到redis 通过maxwell全量同步（数据量不是很大的时候） 数据量比较大的情况通过maxwell同步数据 建表需要加入导出条件字段 这个是上面的例子加入导入条件 拆表需要注意 拆表代码 阅读全文

摘要： kafka分层主要就是分topic lua集成resty和kafka需要的jar包 lua脚本 启动nginx 阅读全文

摘要： 阅读全文

摘要： 各个参数的解释 阅读全文

摘要： 服务端要干的事 阅读全文

摘要： 架构师主要做的事：调优，源码二次开发，最少的机器做最大的事 kafka3的新特性 kafka2和3的对比，ka2是通过选举出来控制节点。ka3是可以手动配置的 查看kafka元数据信息 安装gradle 设置kafka局部有序，但是性能降低，因为需要等待一个个发送 多个deque队列32M，一个bu 阅读全文

摘要： 阅读全文

摘要： 去blobserver中去下载的相关资源 task之间相互传输数据是通过公共的nettyclient和nettyserver进行传输 阅读全文

摘要： 阅读源码的技巧 第五步 startshedule 遇到不知道该调用哪个方法时的思路 taskdeploymentdescriptor包含了task运行所需要各种信息 阅读全文