2021年12月3日
Flink处理--异步IO
摘要： async import com.alibaba.fastjson.JSONObject; import org.apache.commons.io.IOUtils; import org.apache.flink.configuration.Configuration; import org.ap 阅读全文
posted @ 2021-12-03 00:56 空归 阅读(588) 评论(0) 推荐(0)
Flink 流处理-- 小技巧
摘要： 01 //3. 将读取出来的json字符串转换为ItcastDataObj SingleOutputStreamOperator<ItcastDataObj> vehicleDataStream = source.map( new MapFunction<String, ItcastDataObj> 阅读全文
posted @ 2021-12-03 00:51 空归 阅读(78) 评论(0) 推荐(0)
工具类
摘要： ConfigLoader import org.slf4j.Logger; import org.slf4j.LoggerFactory; import java.io.IOException; import java.io.InputStream; import java.util.Propert 阅读全文
posted @ 2021-12-03 00:46 空归 阅读(77) 评论(0) 推荐(0)
2021年11月19日
各组件命令
摘要： 【02】Kafka主题的增、删、查 增： bin/kafka-topics.sh --create --topic flink_kafka --partitions 3 --replication-factor 2 --bootstrap-server node1:9092,node2:9092,n 阅读全文
posted @ 2021-11-19 03:13 空归 阅读(55) 评论(0) 推荐(0)
补充阅读
摘要： 02. 字符串转Interger Integer.valueOf( "123") 将字符串转成Integer类型 Integer.parseInt("123") 将字符串转成有符号的int类型 03. 富函数（Rich Functions） “富函数”是DataStream API提供的一个函数类的 阅读全文
posted @ 2021-11-19 03:05 空归 阅读(46) 评论(0) 推荐(0)
批处理-- SparkSQL
摘要： RDD, DataFrame, DataSet相互装换 假设有个样例类：case class Emp(name: String),它们相互转换如下： 1. RDD →DataFrame 和 RDD →DataSet RDD →DataFrame：rdd.toDF("name") RDD →DataS 阅读全文
posted @ 2021-11-19 02:58 空归 阅读(278) 评论(0) 推荐(0)
批处理-- SparkCore之算子
摘要： ![image](https://img2020.cnblogs.com/blog/2459099/202111/2459099-20211119011957814-870385544.png) 阅读全文
posted @ 2021-11-19 01:20 空归 阅读(29) 评论(0) 推荐(0)
批处理-- SparkCore
摘要： 数据源-source 1. 加载本地集合，转换为RDD import org.apache.spark.rdd.RDD import org.apache.spark.{SparkConf, SparkContext} //parallelize :并行化，平行化 object Paralleliz 阅读全文
posted @ 2021-11-19 01:16 空归 阅读(110) 评论(0) 推荐(0)
Hadoop & Linux命令
摘要： Hadoop HDFS的操作命令类似Linux的shell对文件的操作，如ls、mkdir、rm等 Hadoop提供了文件系统的shell命令使用格式如下： hadoop fs #既可以操作HDFS,也可以操作本地系统 hdfs dfs #只能操作HDFS系统 1.ls命令 格式：hadoop fs 阅读全文
posted @ 2021-11-19 00:46 空归 阅读(431) 评论(0) 推荐(0)
2021年11月8日
Flink流处理-pom文件
摘要： 整体pom.xml <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instan 阅读全文
posted @ 2021-11-08 01:04 空归 阅读(450) 评论(0) 推荐(0)