摘要:
Spark的特性主要有以下四点: 快速 与 Hadoop 的 MapReduce 相比, Spark 基于内存的运算是 MapReduce 的 100 倍.基于硬盘的运算也要快 10 倍以上. Spark 实现了高效的 DAG 执行引擎, 可以通过基于内存来高效处理数据流 易用 Spark 支持 S 阅读全文
posted @ 2021-01-13 08:49
Leo-Wong
阅读(1666)
评论(0)
推荐(0)
摘要:
1、在flink中,watermark由应用程序开发人员生成,这通常需要对相应的领域有一定的了解,然后根据实际情况,总结得到经验值。 2、如果设置延迟太久,收到的结果的速度可能会很慢,解决办法是在在watermark到达之前输出一个近似的结果。 3、如果watermark到达的太早,则可能收到错误的 阅读全文
posted @ 2021-01-13 08:06
Leo-Wong
阅读(423)
评论(0)
推荐(0)