摘要： 下面这张图是我自己画的sql逻辑图。规定了一些画法。然后画出来是这样的。 因为经常要读别人的sql，又臭又长，可读性很差，于是想做一个程序自动生成的逻辑图。 为什么不用执行语法树，因为个人觉得语法树可读性也不是很高。 打个比方说，a join b join c ，你explain一下，就会得到执行计 阅读全文

摘要： HDFS 中任何一个文件，目录或者数据块在 NameNode 节点内存中均以一个对象形式表示（元数据），而这受到 NameNode 物理内存容量的限制。每个元数据对象约占 150 byte，所以如果有1千万个小文件，每个文件占用一个block，则 NameNode 大约需要2G空间。如果存储1亿个文 阅读全文

摘要： 以阿里云的运维大屏为例。 一、重点关注的数量统计，统计实例的运行情况和节点的运行情况。(实例就是节点每次到时间了的具体执行的任务) 重要的实例数量包括： 失败实例的数量，这是每天要观察的数据，一般为早上。第一时间能观察到失败的数量，马上进行处理。 运行慢实例数量，有些任务没有失败，但是运行很慢，可能 阅读全文

摘要： 一、设置最小时间间隔 当flink应用开启Checkpoint功能，并配置Checkpoint时间间隔，应用中就会根据指定的时间间隔周期性地对应用进行Checkpoint操作。默认情况下Checkpoint操作都是同步进行，也就是说，当前面触发的Checkpoint动作没有完全结束时，之后的Chec 阅读全文

摘要： spark实时计算中会存在数据丢失和数据重复计算的场景， 在receiver收到数据且通过driver的调度executor开始计算数据的时候如果driver突然崩溃，则此时executor就会被杀掉，executor中的数据就会丢失，为了防止executor中的数据丢失，此时要通过WAL的方式让所 阅读全文

摘要： flink web页面中提供了针对Job Checkpoint相关的监控信息。Checkpoint监控页面共有overview、history、summary和configuration四个页签，分别对Checkpoint从不同的角度进行了监控，每个页面中都包含了与Checkpointing相关的指 阅读全文

摘要： 反压在流式系统中是一种非常重要的机制，主要作用是当系统中下游算子的处理速度下降，导致数据处理速率低于数据接入的速率时，通过反向背压的方式让数据接入的速率下降，从而避免大量数据积压在flink系统中，最后系统无法正常运行。flink具有天然的反压机制，不需要通过额外的配置就能够完成反压处理。 当在fl 阅读全文

摘要： spark shuffle有四种方式，分别是 hashshuffle 优化后的hashshuffle sortshuffle bypass 一、hashshuffle与优化 一开始spark的shuffle方式是hashshuffle。hashshuffle有一个严重的问题，就是产生的小文件数量比较 阅读全文

摘要： 对数据生产过程进行管控：数据交换管理，数据集成管理，数据标准管理 对已有数据的质量进行管控：数据资产管理，数据质量管理，主数据管理 对已有数据进行描述：元数据管理 其他管理：数据安全管理，数据生命周期管理 阅读全文

摘要： 做指标管理要先做术语管理和定义原子指标。 如何定义原子指标？原子指标可能是某个业务过程的度量值，也有可能是某个业务过程的轻度汇总数据，也有可能是某几个业务过程，可能跨域的度量值或汇总数据。 原子指标根据产生的数据源分为以下六种。 一个业务过程 多个业务过程 多个业务过程并且跨域 度量值 1 3 5 阅读全文