Robots2

摘要： 一、背景 1、遇到问题描述 通过Flink同步mysql到iceberg中，任务一直在运行中，但是在目标表看不到数据。经排查发现job manager一直在做切片工作，切了一小时还没开始同步数据，日志如下： 2023-12-28 16:58:36.251 [snapshot-splitting] I 阅读全文

摘要： 报错内容Plugin Python was not installed: Cannot download 'https://plugins.jetbrains. 解决办法 file -> settings -> System Settings -> Updates 把 Use secure conn 阅读全文

摘要： 一、日期处理 1、查询当前日期 SELECT current_date() 2023-12-22 2、查询当前时间戳 select current_timestamp() 2023-12-22 14:50:19.213 3、查询当前时间戳-1小时 select current_timestamp() 阅读全文

摘要： 一、假数据解析 SELECT r1.col.dataSourceId, r1.col.database, r1.col.dataTable FROM (SELECT explode(r.json) AS col FROM ( SELECT from_json('[{"dataSourceId":4, 阅读全文

摘要： 新建test.sh脚本 #!/bin/bash set -e cospath=https://11111.cos.ap-beijing.myqcloud.com/emr/hive/script/20231213/iceberg-hive-runtime-1.3.1.jar downloadjar() 阅读全文

摘要： 一、Presto服务下新建catelog cd /usr/local/service/presto/etc/catalog vim iceberg.properties connector.name=iceberg #iceberg.catalog.type=hive_metastore hive. 阅读全文

摘要： 1、基础养老金计月基础养老金=退休当年养老金计发基数（退休时上年度社会平均工资）×（1+个人平均缴费指数）÷2×缴费年限×1% 2020年北京的养老金计发基数11082元。缴费年限为20。把数据代入公式可以得到：月基础养老金=11082 ×（1+3）÷2×20×1%=4432元。 2、个人账户养老金 阅读全文

摘要： 一、关键参数设置 1、HDFS 参数 值 描述 文件大小 文件大小 2、腾讯CHDS(对象大数据存储) 参数 值 描述 最大访问频次 阅读全文

摘要： 一、简介 存储过程（Procedure）是数据库领域的概念，类似于编程语言中的方法或函数，是对实现特定操作的封装，原生的 Spark SQL 中是不支持存储过程的，Iceberg 0.11.0版本之后对其进行了扩展，并提供了部分存储过程的实现。Iceberg 中提供的所有存储过程都在system n 阅读全文

摘要： 1、查询表结构 show create table data_lake_ods.test CREATE TABLE spark_catalog.data_lake_ods.test ( `user_number` BIGINT NOT NULL, `subclazz_number` BIGINT N 阅读全文