摘要：
一、如何做一致性保障 1、全量数据分片读取，增量数据单并发读取，保证增量阶段不会乱序2、全量阶段写入失败会清空表后重新写入，避免重复数据。3、全量阶段多task并行读取，把每个task开始结束时间提交给Flink Coordinator，由Coordinator做时间合并后，仅读取一次全量同步区间内 阅读全文
posted @ 2024-05-14 10:41
Robots2
阅读(92)
评论(0)
推荐(0)
摘要：
一、日志 1、hivemetastore日志 简介：查看运行情况，其它组件会通过hivemetastore获取表信息 tail -f /data/emr/hive/logs/hadoop-hivemetastore 二、连接 1、登录hive客户端（指定hivemetastore地址） hive - 阅读全文
posted @ 2024-05-13 18:38
Robots2
阅读(54)
评论(0)
推荐(0)
摘要：
1、Iceberg事务特性解读 https://blog.csdn.net/naisongwen/article/details/123343566 2、FLink全链路时延—测量方式 https://www.cnblogs.com/felixzh/p/15392228.html 3、Flink E 阅读全文
posted @ 2024-04-26 14:35
Robots2
阅读(22)
评论(0)
推荐(0)
摘要：
一、背景 腾讯Flink使用 KafkaSource API创建source端，源码中默认开启了checkpoint的时候提交offset 到kafka-broker。读取kafka数据写入到iceberg 目前发现一个问题，就是消费数据的时候，消费一段时间后，kafka-group的 offset 阅读全文
posted @ 2024-04-25 15:05
Robots2
阅读(620)
评论(0)
推荐(0)
摘要：
Apache Flink 的 Change Data Capture (CDC) 功能主要用于实时捕获数据库中的变更记录，并将其转换为事件流以供下游处理。为了保证全量和增量数据同步时数据的一致性、不丢失和不重复读取，Flink CDC 采用了以下策略： 一、保证一致性与不丢失 1、使用事务 当进行全 阅读全文
posted @ 2024-04-25 10:25
Robots2
阅读(2857)
评论(0)
推荐(0)
摘要：
为了防止消息重复消费导致业务处理异常，消息队列RocketMQ版的消费者在接收到消息后，有必要根据业务上的唯一Key对消息做幂等处理。本文介绍消息幂等的概念、适用场景以及处理方法。 什么是消息幂等 当出现消费者对某条消息重复消费的情况时，重复消费的结果与消费一次的结果是相同的，并且多次消费并未对业务 阅读全文
posted @ 2024-04-25 09:29
Robots2
阅读(59)
评论(0)
推荐(0)
摘要：
一、测试代码 public void testEquals() { int int1 = 12; int int2 = 12; Integer integer1 = new Integer(12); Integer integer2 = new Integer(12); Integer intege 阅读全文
posted @ 2024-04-22 15:06
Robots2
阅读(111)
评论(0)
推荐(0)
摘要：
一、资料准备 1、mysql地址选择 因为阿里云只读节点binlog保留时间短，需要用读写集群地址。可以登录阿里云控制台查看地址是只读还是读写，不清楚的话可以找dba要读写地址。 二、Iceberg概念 1、Iceberg选择合适的表版本 简述：Iceberg目前有两个表版本（V1和V2），根据数据 阅读全文
posted @ 2024-04-22 12:15
Robots2
阅读(1574)
评论(0)
推荐(0)
摘要：
一、问题追踪 问题 详细描述 提出问题时间 是否完成 计划完成时间 备注 了解Iceberg数据存储方式 了解元数据存储信息、数据组织方式、查询时处理流程等 20231013 是 20231019 ！！！20231124前均为大致的时间 调研报告：调研报告-基于 Iceberg 构建湖仓一体平台调研 阅读全文
posted @ 2024-04-22 10:55
Robots2
阅读(238)
评论(0)
推荐(0)
摘要：
一、登录spark客户端 spark-sql --master yarn \ --deploy-mode client \ --queue default \ --name wang \ --driver-memory 12G \ --num-executors 10 \ --executor-co 阅读全文
posted @ 2024-04-22 10:48
Robots2
阅读(383)
评论(0)
推荐(0)
浙公网安备 33010602011771号