2021年6月18日
【Flink提交流程源码】二、客户端是否以yarn模式提交
摘要： 一、在验证是否活跃提交模式里面 public boolean isActive(CommandLine commandLine) { //命令行是否有 yarn-cluster final String jobManagerOption = commandLine.getOptionValue(ad 阅读全文
posted @ 2021-06-18 12:56 持枢 阅读(97) 评论(0) 推荐(0)
【Flink提交流程源码】一、客户端任务提交源码CliFrontend找路径、配置、执行
摘要： 一、Flink内核解析，针对版本1.12.0，四大块：任务的提交流程，组件通信，任务的调度，内存管理。 任务的提交流程：以命令行的提交命令开始追踪类，20多个步骤，几十个类，数千行代码量，最后画一个PPT动图 组件通信：actor的模型，akka基本原理和实现,5大关键角色：代理转发，处理细节，PP 阅读全文
posted @ 2021-06-18 12:35 持枢 阅读(320) 评论(0) 推荐(0)
2021年6月5日
【日志】
摘要： 我们前面采集的日志数据已经保存到Kafka中，作为日志数据的ODS层，从Kafka的ODS层读取的日志数据分为3类, 页面日志、启动日志和曝光日志。这三类数据虽然都是用户行为数据，但是有着完全不一样的数据结构，所以要拆分处理。将拆分后的不同的日志写回Kafka不同主题中，作为日志DWD层。 页面日志 阅读全文
posted @ 2021-06-05 22:38 持枢 阅读(75) 评论(0) 推荐(0)
2021年5月24日
【Fink内存管理】一、java的jvm与flink的内存区别
摘要： java的jvm与flink的自我管理内存的区别: java管理内存不足的点：java对象存储对象密度低，full GC大大影响性能，OOM影响稳定性，缓存未命中 flink并不是把对象存在堆内存上，而是存在预分配的内存上MemorgSegment，并提供了高效的读写，直接操作二进制，不需要反序列化 阅读全文
posted @ 2021-05-24 16:36 持枢 阅读(217) 评论(0) 推荐(0)
2021年5月17日
【Flink实时数仓】实时的需求（一）
摘要： 一、普通实时计算和实时数仓的比较 普通实时计算优先考虑时效性，从数据采集经过计算直接得到结果，时效性更好，但是中间结果没有沉淀下来，当面临大量实时计算的时候，计算的复用性差，开发成本大大提高； 实时数仓是基于数仓理论对数据分层，提高数据的复用率； 二、实时数仓分层 ods：原始数据，业务 dwd：数 阅读全文
posted @ 2021-05-17 14:43 持枢 阅读(599) 评论(0) 推荐(0)
2021年5月15日
【Flink提交部署】打包提交到yarn集群问题，以及三种提交模式
摘要： 一、打包问题clean之后直接package可能出现 The program's entry point class 'com.atguigu.wcBase.Workcount' was not found in the jar file. 需要在clean之后build，再package erro 阅读全文
posted @ 2021-05-15 11:40 持枢 阅读(1986) 评论(0) 推荐(0)
2021年5月14日
【Flink】3、Flink构建流批数仓（二）
摘要： 一、Hive Catalog 主要作用是使用Hive MetaStore去管理Flink的元数据，如果不去持久化catalog，那么在每个session中取处理数据，都要去重复地创建元数据对象，这样是非常耗时的。 HiveCatalog可以处理两种类型的表：一种是Hive兼容的表，另一种是普通表(g 阅读全文
posted @ 2021-05-14 11:12 持枢 阅读(182) 评论(0) 推荐(0)
【Flink】2、Flink构建流批数仓（一）
摘要： 一、Flink集成Hive 1.持久化元数据 Flink利用 Hive 的 MetaStore 作为持久化的 Catalog，我们可通过HiveCatalog将不同会话中的 Flink 元数据存储到 Hive Metastore 中 2.Flink读写Hive表 Flink直接读写Hive中的表，不 阅读全文
posted @ 2021-05-14 10:58 持枢 阅读(115) 评论(0) 推荐(0)
【Flink】1、Flink从mysql+hive+kafka查数据以及插入数据
摘要： 前提： 1.配置flink的元数据到hive，不然每次重启flink-cli，之前建的表都丢失了 在这个默认的sql-client-defaults.yaml修改 catalogs: - name: catalog_1 type: hive hive-conf-dir: /opt/module/hi 阅读全文
posted @ 2021-05-14 10:34 持枢 阅读(1571) 评论(0) 推荐(0)
【Kakfa】常用命令
摘要： kafka集群搭建 简单略 kafka相关命令补充 启动单节点kafka： bin/kafka-server-start.sh -daemon config/server.properties 查看是否启动： jps 查看主题： kafka-topics.sh --zookeeper 192.168 阅读全文
posted @ 2021-05-14 10:28 持枢 阅读(57) 评论(0) 推荐(0)