Robots2

摘要： 一、建表优化 1、iceberg表支持更新操作。 文档：https://iceberg.apache.org/docs/latest/configuration/ 功能描述：因v1只支持insert，如果有更新场景，则需要建表时指定format为V2版本 参数：'format-version'='2 阅读全文

摘要： 一、简述 Kyuubi调用Spark来查询iceberg表，修改Spark配置信息即可。 二、服务配置 1、上传jar包到Kyuubi server节点 可以选择emr spark组件后，按照配置组(kyuubi-spark321)筛选kyuubi节点。 hadoop用户上传jar包：tx-iceb 阅读全文

摘要： 一、背景 1、遇到问题描述 通过Flink同步mysql到iceberg中，任务一直在运行中，但是在目标表看不到数据。经排查发现job manager一直在做切片工作，切了一小时还没开始同步数据，日志如下： 2023-12-28 16:58:36.251 [snapshot-splitting] I 阅读全文

摘要： 报错内容Plugin Python was not installed: Cannot download 'https://plugins.jetbrains. 解决办法 file -> settings -> System Settings -> Updates 把 Use secure conn 阅读全文

摘要： 一、日期处理 1、查询当前日期 SELECT current_date() 2023-12-22 2、查询当前时间戳 select current_timestamp() 2023-12-22 14:50:19.213 3、查询当前时间戳-1小时 select current_timestamp() 阅读全文

摘要： 一、假数据解析 SELECT r1.col.dataSourceId, r1.col.database, r1.col.dataTable FROM (SELECT explode(r.json) AS col FROM ( SELECT from_json('[{"dataSourceId":4, 阅读全文

摘要： 新建test.sh脚本 #!/bin/bash set -e cospath=https://11111.cos.ap-beijing.myqcloud.com/emr/hive/script/20231213/iceberg-hive-runtime-1.3.1.jar downloadjar() 阅读全文

摘要： 一、Presto服务下新建catelog cd /usr/local/service/presto/etc/catalog vim iceberg.properties connector.name=iceberg #iceberg.catalog.type=hive_metastore hive. 阅读全文

摘要： 1、基础养老金计月基础养老金=退休当年养老金计发基数（退休时上年度社会平均工资）×（1+个人平均缴费指数）÷2×缴费年限×1% 2020年北京的养老金计发基数11082元。缴费年限为20。把数据代入公式可以得到：月基础养老金=11082 ×（1+3）÷2×20×1%=4432元。 2、个人账户养老金 阅读全文

摘要： 一、关键参数设置 1、HDFS 参数 值 描述 文件大小 文件大小 2、腾讯CHDS(对象大数据存储) 参数 值 描述 最大访问频次 阅读全文