摘要： AggregateFunction 比 ReduceFunction 更加的通用，它有三个参数:输入类型(IN)、累加器类型(ACC)和输出类型(OUT)。 输入类型是输入流中的元素类型，AggregateFunction有一个add方 法可以将一个输入元素添加到一个累加器中。该接口还具有创建初始累 阅读全文

摘要： ReduceFunction含义ReduceFunction定义了如何把两个输入的元素进行合并来生成相同类型的输出元素的过程，Flink使用ReduceFunction来对窗口中的元素进行增量聚合 package com.lynch.stream.window; import org.apache. 阅读全文

摘要： Window Function在窗口触发后，负责对窗口内的元素进行计算。Window Function分为两类: 增量聚合和全量聚合。 增量聚合: 窗口不维护原始数据，只维护中间结果，每次基于中间结果和增量数据进行聚合。如: ReduceFunction、AggregateFunction。全量聚合 阅读全文

该文被密码保护。 阅读全文

摘要： 1、Window Assinger是干啥的当你决定stream是否keyby之后，window是没有构建的，你还需要指定一个window Assinger用于定义元素如何分配到窗口中。 2、window Assinger如何指定？Keyedstream：window(WindowAssigner) 阅读全文

摘要： 1、啥是Window？Window有啥作用？ Flink 认为 Batch 是 Streaming 的一个特例，所以 Flink 底层引擎是一个流式引擎，在上面实现了流处理和批处理。而窗口（window）就是从 Streaming 到 Batch 的一个桥梁。Flink 提供了非常完善的窗口机制，这 阅读全文

该文被密码保护。 阅读全文

摘要： Nginx配置相同端口号访问多个工程，多个工程在不同的tomcat，而且访问路径不同，特此记录一下配置过程。 upstream server33068 { server 172.16.0.10:33068; } upstream server33069 { server 172.16.0.10:33 阅读全文

摘要： #! /bin/bash /usr/bin/mk-docker-opts.sh -c systemctl daemon-reload systemctl restart docker systemctl status docker 阅读全文

摘要： import org.apache.flink.api.common.functions.MapFunction; import org.apache.flink.api.java.tuple.Tuple2; import org.apache.flink.streaming.api.datastr 阅读全文

摘要： Apache Flink DataStream API 阅读全文

摘要： 上一篇介绍了编写 Flink 程序的基本步骤，以及一些常见 API，如：map、filter、keyBy 等，重点介绍了 keyBy 方法。本篇将继续介绍 Flink 中常用的 API，主要内容为： 1.指定 transform 函数2.Flink 支持的数据类型3.累加器 1、指定 transfo 阅读全文

该文被密码保护。 阅读全文

该文被密码保护。 阅读全文

该文被密码保护。 阅读全文

摘要： 如何使用DockerHub镜像加速器docker软件源地址：https://mirror.baidubce.com 适用于 Centos7 修改Docker配置文件vim /etc/sysconfig/docker, 添加下面 OPTIONS='--registry-mirror=https://m 阅读全文

摘要： Flink使用 DataSet 和 DataStream 代表数据集。DateSet 用于批处理，代表数据是有限的，而 DataStream 用于流数据，代表数据是无界的。数据集中的数据是不可以变的，也就是说不能对其中的元素增加或删除。我们通过数据源创建 DataSet 或者 DataStream 阅读全文

摘要： public static <T> List<List<T>> splitList(List<T> list, int groupSize){ int length = list.size(); // 计算可以分成多少组 int num = ( length + groupSize - 1 )/gr 阅读全文

摘要： 1、集群规划1.1、主机配置环境 172.16.0.11 node60 172.16.0.13 node89 172.16.0.8 node145 1.2、安装后启动的进程 2、修改host文件希望三个主机之间都能够使用主机名称的方式相互访问而不是IP，我们需要在hosts中配置其他主机的host。 阅读全文

摘要： Flink ON YARN模式 一、安装Flink 1、下载 1.1、下载 flink 包 官网地址：https://archive.apache.org/dist/flink/ 采用flink-1.8.0-bin-scala_2.11.tgz安装，因目前Flink尚未集成hadoop2.9版本，因 阅读全文