bettergoo

摘要： Spark简介 Spark Streaming基于Spark Core实现了可扩展、高吞吐和容错的实时数据流处理。现在支持的数据源有Kafka、Flume、Twitter、ZeroMQ、Kinesis、HDFS、S3和TCP socket。处理后的结果可以存储到HDFS、Database或者Dash 阅读全文

摘要： JobClient JobClient是Flink程序和JobManager交互的桥梁，主要负责接收程序、解析程序的执行计划、优化程序的执行计划，然后提交执行计划到JobManager。 程序解析 Flink会将程序中每一个算计解析成Operator，然后按照算子之间的关系，将operator组合起 阅读全文