Flink1.18 Transfrom - 分区器【7种现成】

package com.xiaohu.transfrom;

import org.apache.flink.configuration.Configuration;
import org.apache.flink.streaming.api.datastream.DataStreamSource;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;

/*
    常见的物理分区策略:随机分配,轮询分配,重缩放,广播

    分区器基本上都是继承了StreamPartitioner抽象类

    7种现成的分区器 + 1自定义分区器

 */
public class PartitionDemo {
    public static void main(String[] args) throws Exception {

        Configuration conf = new Configuration();
        StreamExecutionEnvironment env = StreamExecutionEnvironment.createLocalEnvironmentWithWebUI(conf);



        //设置流处理环境还是批处理环境 DataSet API已经过时了,现在都是一套代码,进行设置
//        env.setRuntimeMode(RuntimeExecutionMode.BATCH); //批处理
//        env.setRuntimeMode(RuntimeExecutionMode.STREAMING); //流处理,默认就是流处理
        //一般情况下,不会在代码中指定,不够灵活,一般都是在提交的时候,使用命令进行指定 flink run  -Dexecution.runtime-mode=BATCH【STREAMING】 ...

        DataStreamSource<String> socketDS = env.socketTextStream("master", 7777);


        //随机分区,每一次的数据到不同的分区中进行
//        socketDS.shuffle().print();

        //轮询
//        socketDS.rebalance().print();

        //缩放
//        socketDS.rescale().print();

        //广播
//        socketDS.broadcast().print(); //所有分区都有

        //全局分区 只发往第一个分区子任务中进行
//        socketDS.global().print();

        //keyby: 按照指定key去发送,相同的key发往同一个分区
        // one-to-one





        env.execute();
    }
}
posted @ 2025-02-26 20:31  Xiaohu_BigData  阅读(20)  评论(0)    收藏  举报