2021年1月17日
flink-java版学习-4-transform算子之map/flatmap/filter算子
摘要： 1、 数据集都是本地数据集，3个算子一起测试 map：个人理解就是1对1的输出，比如我传一个字符串，可以返回字符串的长度 flatmap：1对多的输出，传1个字符串，可以分割为3个字符串，但是流还是一个流(跟hive对比，就很像LATERAL VIEW这种函数，一个输入，多行输出，udtf) fil 阅读全文
posted @ 2021-01-17 23:55 活不明白 阅读(68) 评论(0) 推荐(0)
flink-java版学习-3-kafka
摘要： flink的source使用比较多的是kafka，本地测试连接公司的集群没有成功，先记录下 package com.shihuo.apitest_source; import org.apache.flink.api.common.serialization.SimpleStringSchema; 阅读全文
posted @ 2021-01-17 23:41 活不明白 阅读(41) 评论(0) 推荐(0)
flink-java版学习-2-source连接之本地文件
摘要： flink本地测试大多数时候读的都是本地的数据集，记录下： 1、本地的sensor.txt文件 sensor_1,1547718200,35.8 sensor_1,1547719200,37.8 sensor_1,1547718280,34.8 sensor_6,1547718201,35.5 se 阅读全文
posted @ 2021-01-17 23:37 活不明白 阅读(36) 评论(0) 推荐(0)