自在现实 - 博客园

2024年6月22日

摘要： Java 8 Stream Java 8 新特性 Java 8 新特性 Java 8 API添加了一个新的抽象称为流Stream，可以让你以一种声明的方式处理数据。 Stream 使用一种类似用 SQL 语句从数据库查询数据的直观方式来提供一种对 Java 集合运算和表达的高阶抽象。 Stream 阅读全文

posted @ 2024-06-22 14:14 自在现实阅读(43) 评论(0) 推荐(0)

实时ETL工具：Apache NiFi介绍和教程

摘要：实时ETL工具：Apache NiFi介绍和教程原创码奋码奋 2024-06-22 10:05 上海图片图片 1.背景和历史 Apache NiFi (Niagara Files) 是由美国国家安全局（NSA）开发，并于2014年捐赠给Apache软件基金会的一个开源项目。它的设计初衷是为阅读全文

posted @ 2024-06-22 10:46 自在现实阅读(3625) 评论(0) 推荐(0)

LOMBOK使用详解

摘要：最近正在写SpringBoot系列文章和录制视频教程，每次都要重复写一些Getter/Setter、构造器方法、字符串输出的ToString方法和Equals/HashCode方法等。甚是浪费时间，也影响代码的可读性。因此，今天就给大家推荐一款Java开发神器——Lombok，让代码更简单易读。什阅读全文

posted @ 2024-06-22 10:12 自在现实阅读(227) 评论(0) 推荐(0)

2024年6月20日

Flink自定义序列化器

摘要： package org.hu.fk.ds_connector; import com.ververica.cdc.connectors.shaded.org.apache.kafka.connect.data.Field; import com.ververica.cdc.connectors.sh 阅读全文

posted @ 2024-06-20 23:52 自在现实阅读(172) 评论(0) 推荐(0)

官方序列化器 StringDebeziumDeserializationSchema

摘要：直接转为String，可参照实现自定义序列化器 import com.ververica.cdc.connectors.shaded.org.apache.kafka.connect.source.SourceRecord; import com.ververica.cdc.debezium.Deb 阅读全文

posted @ 2024-06-20 23:51 自在现实阅读(107) 评论(0) 推荐(0)

SqlserverCDCSourceSink

摘要：此处调用官方sink demo，更新和删除逻辑还需要再判断实现。 import com.ververica.cdc.connectors.base.options.StartupOptions; import com.ververica.cdc.connectors.sqlserver.SqlSer 阅读全文

posted @ 2024-06-20 23:49 自在现实阅读(49) 评论(0) 推荐(0)

常见数据库 url 和driver

摘要： url=jdbc:sqlserver://localhost:1433;databaseName=test user=s pwd=123 driver=com.microsoft.sqlserver.jdbc.SQLServerDriver url=jdbc:mysql://localhost:33 阅读全文

posted @ 2024-06-20 23:34 自在现实阅读(144) 评论(0) 推荐(0)

Flink Sink中jdbc sink

摘要：这里介绍一下Flink Sink中jdbc sink的使用方法,以mysql为例,这里代码分为两种,事务和非事务此处sink只处理append，主要是事务和非事务的调用方法，upsert等未实现非事务代码 import org.apache.flink.connector.jdbc.JdbcCo 阅读全文

posted @ 2024-06-20 23:32 自在现实阅读(783) 评论(0) 推荐(0)

2024年6月19日

SqlserverCDCSource DataStream方式

摘要： org.apache.flink 没有jar包，要换为 com.ververica.cdc 2.com.ververica.cdc 最新的也只有 3.0.1，3.1.1的没有主要 mvnrepository 仓库没找到如下是单并行度和多并行度的demo import com.ververica. 阅读全文

posted @ 2024-06-19 23:50 自在现实阅读(101) 评论(0) 推荐(0)

Maven中如何手动添加jar包到本地仓库（repository）

摘要：当我们的idea无法自动下载所需的Maven依赖时，我们可以到Maven的远程仓库中下载所需要的jar包，然后添加到我们的本地仓库中。 1.首先我们打开远程仓库的网址（https://mvnrepository.com/） .所需的jar包下载好后，可以将其放在D盘根目录下 6.再回到刚才的网页中，阅读全文

posted @ 2024-06-19 22:44 自在现实阅读(2631) 评论(0) 推荐(1)

huft

公告