来自遥远的水星

摘要： SparkSQL读取Kudu,写出到Kafka 背景：通过spark SQL读kudu表，写入到kafka 参考：1.spark向kafka写入数据 2.通过Spark向Kafka写入数据 1. pom.xml 依赖 <dependencies> <dependency> <groupId>mysq 阅读全文

摘要： Flink的窗口机制 1.窗口概述 在流处理应用中，数据是连续不断的，因此我们不可能等到所有数据都到了才开始处理。当然我们可以每来一个消息就处理一次，但是有时我们需要做一些聚合类的处理，例如：在过去的1分钟内有多少用户点击了我们的网页。在这种情况下，我们必须定义一个窗口，用来收集最近一分钟内的数据， 阅读全文

摘要： FlinkCDC 1.简介 CDC是Change Data Capture(变更数据获取)的简称。核心思想是，监测并捕获数据库的变动（包括数据或数据表的插入、更新以及删除等），将这些变更按发生的顺序完整记录下来，写入到消息中间件中以供其他服务进行订阅及消费。 CDC种类 CDC主要分为基于查询和基于 阅读全文

摘要： Java读文件写入kafka 文件格式 840271 103208 0 0.0 insert 84e66588-8875-4411-9cc6-0ac8302408bf 3 2 4 wangxiao 0.0 0 0.0 9927525 1619330049000 normal 1bd221d73805 阅读全文

摘要： Java实现读取文件 1、按字节读取文件内容 使用场景 以字节为单位读取文件，常用于读二进制文件，如图片、声音、影像等文件。 2、按字符读取文件内容 使用场景 以字符为单位读取文件，常用于读文本，数字等类型的文件 3、按行读取文件内容 使用场景 以行为单位读取文件，常用于读面向行的格式化文件 4、随 阅读全文

摘要： SparkSql 将CSV导入kudu pom 依赖 <properties> <spark.version>2.1.0</spark.version> <scala.version>2.11</scala.version> <project.build.sourceEncoding>UTF-8</ 阅读全文

摘要： ParameterTool 工具类 object ParameterToolTest { def main(args: Array[String]): Unit = { val params: ParameterTool = ParameterTool.fromArgs(args) val host 阅读全文

摘要： 0.目的 测试flink消费kafka的几种消费策略 kafkaSource.setStartFromEarliest() //从起始位置 kafkaSource.setStartFromLatest() //从最新位置 kafkaSource.setStartFromTimestamp("起始时间 阅读全文

该文被密码保护。 阅读全文

摘要： 说明 当前处理只实现手动维护offset到mysql，只能保证数据不丢失，可能会重复 要想实现精准一次性，还需要将数据提交和offset提交维护在一个事务中 官网说明 Your own data store For data stores that support transactions, sav 阅读全文