package com.xiaohu.transfrom;
import org.apache.flink.configuration.Configuration;
import org.apache.flink.streaming.api.datastream.DataStreamSource;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
/*
常见的物理分区策略:随机分配,轮询分配,重缩放,广播
分区器基本上都是继承了StreamPartitioner抽象类
7种现成的分区器 + 1自定义分区器
*/
public class PartitionDemo {
public static void main(String[] args) throws Exception {
Configuration conf = new Configuration();
StreamExecutionEnvironment env = StreamExecutionEnvironment.createLocalEnvironmentWithWebUI(conf);
//设置流处理环境还是批处理环境 DataSet API已经过时了,现在都是一套代码,进行设置
// env.setRuntimeMode(RuntimeExecutionMode.BATCH); //批处理
// env.setRuntimeMode(RuntimeExecutionMode.STREAMING); //流处理,默认就是流处理
//一般情况下,不会在代码中指定,不够灵活,一般都是在提交的时候,使用命令进行指定 flink run -Dexecution.runtime-mode=BATCH【STREAMING】 ...
DataStreamSource<String> socketDS = env.socketTextStream("master", 7777);
//随机分区,每一次的数据到不同的分区中进行
// socketDS.shuffle().print();
//轮询
// socketDS.rebalance().print();
//缩放
// socketDS.rescale().print();
//广播
// socketDS.broadcast().print(); //所有分区都有
//全局分区 只发往第一个分区子任务中进行
// socketDS.global().print();
//keyby: 按照指定key去发送,相同的key发往同一个分区
// one-to-one
env.execute();
}
}