chouc

摘要： 准备flink-*.tar.gz 可以自己编译，或者下载 编译 cd ${flink-root} mvn install -DskipTests # 编译成功后，压缩成tar.gz cd ./flink-dist/target/ tar -cvf flink-1.18-SNAPSHOT-bin.ta 阅读全文

摘要： Flink 分流有Filter、Split（已经废弃移除）、Side Output进行分流，到底时有什么区别，哪个种更好呢？ 对比 代码对比 直接上代码对比： import org.apache.flink.streaming.api.datastream.DataStreamSource; imp 阅读全文

摘要： Flink OutputTag 为什么需要加 "{}" 结论 先给出结论，OutputTag 可以加 也可以不加 // case 1 不加 {} ，运行时会报错 OutputTag<String> stringOutputTg = new OutputTag<String>("a"); // cas 阅读全文

摘要： DEMO Flink RPC 众所周知底层是Akka，我先来写一个RPC 的用例 RPC Gateway public interface HelloGateway extends RpcGateway { CompletableFuture<String> hello(); } RPC Endpo 阅读全文

摘要： Windows 属性 Windows 就是基于ListState 和 AggregateState来做的存储，Windows里面有三个重要的属性，Assigner、Trigger、Evictor (非必须)。 WindowsAssigner TumblingEventTimeWindows prot 阅读全文

摘要： [toc] REST Representational State Transfer 一种软件架构风格，而不是标准，只是提供了一组设计原则和约束条件。它主要用于客户端和服务器交互类的软件。基于这个风格设计的软件可以更简洁，更有层次，更易于实现缓存等机制。 核心算法 正排索引 ES核心算法是倒排索引， 阅读全文

摘要： DStream 中 window 函数有两种，一种是普通 WindowedDStream，另外一种是针对 window聚合 优化的 ReducedWindowedDStream。 Demo 源码 DStream 前提知识 在每个DStream 中会把每个batch 产生的 Rdd 放入Map中，也就 阅读全文

摘要： ListenerBus Spark 很多地方需要对一些事件进行监听或处理，这就涉及到到了 Listener。 比如：当一个Batch完成的时候，需要做什么。当stream 启动时候时候需要做什么等。再具体的例子，就是我想看每个batch 里面的数据量是多少 对于不同场景有不同的 Listener 比 阅读全文

摘要： DEMO KafkaUtils 如果创建DirectKafkaInputDStream 时如果没有传 perPartitionConfig 则就会使用 PerPartitionConfig PerPartitionConfig 最关键的就是包含了 spark.streaming.kafka.maxR 阅读全文

摘要： Dstream Checkpoint 的用法 以上代码可以实现故障恢复和重启时回到之前的offset，但是如果对代码进行修改则无法进行回滚。 Spark源码： 1. 从checkpoint_dir 中读取 Checkpoint 对象，new StreamingContext ，反之读取不到 调用我们 阅读全文