百里登风

摘要： 关于使用flinksql实现数据覆盖功能，我个人不是很推荐，我也只是在local模式下实现的，目前支持数据覆盖的只要fliesystem、hive两种数据源 我这里以filesystem为例子，filesystem要使用insert overwrite语句，是针对分区表 可以参考文档：https:/ 阅读全文

摘要： 需求：将gzip压缩文件的数据同步到mysql数据库 gzip格式文件作为parquet格式的压缩文件存在，我们在获取的时候，通过hive创建表来获取 参考hive建表语句 create table table_name (id string, name string, score double) 阅读全文

摘要： 需求：将parquet数据文件同步数据到mysql数据库 需要通过创建parquet格式的hive表，从hdfs中将数据文件下载，我这里提前做好了 一、添加依赖包 在dinky的plugins目录和flink的lib目录下添加parquet文件格式的依赖包，并重启dinky和flink 依赖包下载地 阅读全文

摘要： 需求：将压缩文件snappy的数据同步到mysql数据库 snappy可以作为orc文件的压缩格式存在，所以在添加依赖包的时候，直接添加orc的依赖包就可以了 还有一点注意的是，在创建hive表的时候，指明snappy压缩 下面是一个hive建表举例 create table stu_orc(id 阅读全文

摘要： 需求：将orc格式的数据文件同步数据到mysql数据库 由于orc格式的文件不能直接通过文本编辑器打开，也不是说简单的通过记事本写入一些数据，把扩展名改成orc就可以了 为了生成标准的orc格式文件，我们通过hive创建orc表，然后到hdfs上面把相应的保存文件下载下来，这样我们就可以明确我们表的 阅读全文

摘要： 要求：通过dinky把csv的文本文件里面的数据同步到mysql数据库里面 一、添加依赖包 在dinky的pulgins和flink的lib目标下添加csv的依赖包，添加完后重启dink和flink 下载地址可参考：https://www.bookstack.cn/read/ApacheFlink- 阅读全文

摘要： 需求：通过在kafka的topic里面传入json串，再把数据同步到mysql中，这个也可以作为半结构化数据同步的案例 一、添加依赖包 将依赖包放到dinky的pulgins目录和flink的lib目录下，并重启dinky和flink 依赖包下载地址参考：https://www.bookstack. 阅读全文

摘要： 要求：通过dinky把hbase的表数据导到mysql中，这种通常是用来模拟半结构化数据同步的场景 因为hbase是基于列存储的，不需要每个列都是有值的，通过列簇管理列，当然想了解hbase的表结构可以参考：https://www.cnblogs.com/braveym/p/7708332.html 阅读全文

摘要： 要求：通过Dinky把mysql的数据导到clickhouse数据库 对于dinky的安装部署，以及dinky集成clickhouse数据库需要那些jar包可以参考：https://www.cnblogs.com/braveym/p/16455534.html 这里我需要提醒，需要我们提前把mysq 阅读全文

摘要： 给定一个由 整数 组成的 非空 数组所表示的非负整数，在该数的基础上加一。最高位数字存放在数组的首位， 数组中每个元素只存储单个数字。你可以假设除了整数 0 之外，这个整数不会以零开头。 示例 1：输入：digits = [1,2,3]输出：[1,2,4]解释：输入数组表示数字 123。示例 2：输 阅读全文