百里登风

摘要： 一、DS概述 1、DS是什么 官网：https://dolphinscheduler.apache.org/en-us/index.html logo: 跟Azkaban等流⾏的⼯工作流调度引擎⽐比较如下： 2、特性 3、谁在使用 二、DS源码编译 1、版本规划 DS在成为Apache孵化项⽬目之后 阅读全文

摘要： 在国产化环境下部署clickhouse集群，个人建议先查看cpu的内核信息，可能有的人会说， 去银河麒麟的官网查看适配的版本信息，实践证明，官网的未必就是真的正确 好比银河麒麟的官网是这样介绍的 我在安装的过程中，就会报不支持的二进制文件的错误，所以这里不建议安装官网推荐的版本，毕竟是在国产化的环境 阅读全文

摘要： 在实际生产环境中，有时候会遇到国产化的适配问题，这次我以银河麒麟系统为例 将系统中一个200G的磁盘扩容到 /目录下 1、通过lsblk命令可查看到磁盘分区情况及挂载情况，可以发现多余了200G磁盘没有使用 2、使用fdisk /dev/vdb 管理这块磁盘，添加磁盘分区，输入n ,p ,1,默认可 阅读全文

摘要： 一、Wormhole概述 1、Wormhole是什么 2、为什么会有Wormhole 3、设计理念 4、主要特性 5、核心概念 参考：https://edp963.github.io/wormhole/concept.html Namespace（命名空间） Namespace是Wormhole定义 阅读全文

摘要： 一、准备Python3环境 通过修改系统的软链接，使默认python版本指向python3，这个方法是利用系统自带的python版本就行修改 1. whereis python //查看系统自带的python 2. 3. cd /usr/bin 4. 5. rm -rf python //删除默认的 阅读全文

摘要： 其实多路输出就是制定多个个insert into语句，我这里以mysql数据库为例，实现三路输出的一个小案例 一、创建作业 二、编写flinksql代码 CREATE TABLE source_news( `id` INT, `timestamp` TIMESTAMP, `title` STRING 阅读全文

摘要： 通过dinky写flinksql实现数据更新 通过upsert模式来实现表数据的更新，在定义表的时候必须要指定主键 可以参考文档：https://www.bookstack.cn/read/ApacheFlink-1.13-zh/6dd60342342b2f49.md 一、创建作业 二、编写flin 阅读全文

摘要： 关于使用flinksql实现数据覆盖功能，我个人不是很推荐，我也只是在local模式下实现的，目前支持数据覆盖的只要fliesystem、hive两种数据源 我这里以filesystem为例子，filesystem要使用insert overwrite语句，是针对分区表 可以参考文档：https:/ 阅读全文

摘要： 需求：将gzip压缩文件的数据同步到mysql数据库 gzip格式文件作为parquet格式的压缩文件存在，我们在获取的时候，通过hive创建表来获取 参考hive建表语句 create table table_name (id string, name string, score double) 阅读全文

摘要： 需求：将parquet数据文件同步数据到mysql数据库 需要通过创建parquet格式的hive表，从hdfs中将数据文件下载，我这里提前做好了 一、添加依赖包 在dinky的plugins目录和flink的lib目录下添加parquet文件格式的依赖包，并重启dinky和flink 依赖包下载地 阅读全文