---江北

2025年5月22日

摘要： import org.apache.spark.sql.Dataset; import org.apache.spark.sql.Row; import org.apache.spark.sql.SparkSession; import java.util.Arrays; public class 阅读全文

posted @ 2025-05-22 22:39 ---江北阅读(31) 评论(0) 推荐(0)

flink连接kafka

摘要： Flink 的 Kafka 连接器 API 经历了多次重要变更，以下是主要版本变更及不同版本的使用方式：您是否必须使用最新Flink特性？├─ 是 → 考虑升级Java环境└─ 否 → ├─ 项目是否需要长期支持(LTS) → 选择1.13.6 └─ 项目需要较新功能 → 选择1.15.4 主要版阅读全文

posted @ 2025-05-22 16:01 ---江北阅读(158) 评论(0) 推荐(0)

flink接kafka数据后写入ODPS

该文被密码保护。阅读全文

posted @ 2025-05-22 15:02 ---江北阅读(0) 评论(0) 推荐(0)

2025年5月20日

flinktemp

摘要： CREATE TEMPORARY TABLE odps_sink ( id INT, len INT, content VARCHAR, ds VARCHAR --需要显式声明动态分区列。 ) WITH ( 'connector' = 'odps', 'endpoint' = '<yourEndpo 阅读全文

posted @ 2025-05-20 22:11 ---江北阅读(36) 评论(0) 推荐(0)

2025年5月14日

flink部署

摘要：常用的应用模式(application模式：推荐使用这种方式，用户的代码是在jobmanager解析的，而不是在客户端解析的 bin/flink run-application -t yarn-application -c wordcount.flink_wc_socket flink_flink 阅读全文

posted @ 2025-05-14 10:15 ---江北阅读(98) 评论(0) 推荐(0)

2025年5月13日

java向kafka发数据（非实时）

摘要：依赖：  <dependency> <groupId>mysql</groupId> <artifactId>mysql-connector-java</artifactId> <version>8.0.28</version> </dependenc 阅读全文

posted @ 2025-05-13 15:55 ---江北阅读(39) 评论(0) 推荐(0)

2025年5月6日

flink项目实战

摘要：项目目录结构： src/main/java/├── com.yourcompany.flink/│ ├── config/ # 配置相关类│ │ ├── FlinkConfig.java # Flink 环境配置│ │ └── KafkaConfig.java # Kafka 配置(如果使用)│ │ 阅读全文

posted @ 2025-05-06 11:03 ---江北阅读(49) 评论(0) 推荐(0)

2025年4月30日

maven速记

摘要：核心点：项目构建、依赖管理、【更新】：源码关联依赖的scope的含义：构建： clean：清理 compile：编译 test：运行测试 package：打包打包fat-jar的插件：maven-shade-plugin 示例： <build> <sourceDirectory>src/mai 阅读全文

posted @ 2025-04-30 14:20 ---江北阅读(50) 评论(0) 推荐(0)

lombok的使用

摘要：简单明了的介绍： IDEA插件安装在稍微高点的版本，已经不需要再额外安装了，设置一下允许注解：引入依赖即可使用： <dependency> <groupId>org.projectlombok</groupId> <artifactId>lombok</artifactId> <version> 阅读全文

posted @ 2025-04-30 10:31 ---江北阅读(55) 评论(0) 推荐(0)

2025年4月29日

git实际操作

摘要：首次拉取：先去仓库复制地址：在IDEA中clone：分支查看：检出分支：阅读全文

posted @ 2025-04-29 19:17 ---江北阅读(13) 评论(0) 推荐(0)

冰冻三尺，非一日之寒

公告