摘要： hive解析json，高级案例，非udf 阅读全文

摘要： 发展4阶段：企业级数仓(2000-2018)→湖仓一体(2019-2023)→智能数据中枢(2022-2025)→实时语义层(2024-) 两大体系架构：六横两纵（来源/支撑/存储/分析/应用/治理+开发运维/数据管控）；四横两纵（采集/底座/服务/应用+开发运维/数据管控） 一、数据架构规划与设计 阅读全文

摘要： 1、删除windows凭据 2、修改git/etc/gitconfig，增加你的邮箱和姓名 [user] name = your.name email = your.email@qq.com 3、项目代码目录，执行： git config --global user.name xxxxxx git 阅读全文

摘要： https://www.processon.com/diagrams 阅读全文

摘要： 1. 主键索引（Primary Key Index） 原理： 主键索引基于数据的物理排序存储。在StarRocks中，定义了主键的表，其数据将会按照主键字段的值进行有序排列。这不仅提供了唯一性约束，还确保了基于主键的查询能够通过跳跃列表或类似的数据结构快速定位记录。 案例： 假设有一个用户行为表 u 阅读全文

摘要： 在 flink sql 中，对表名、字段名、函数名等是严格区分大小写的，为了兼容 hive 等其他仓库，建议建表时，表名和字段名都采用下划线连接单词的方式，以避免大小写问题。 比如 hive ，是不区分大小写的，所有大写字母最终都会被系统转化为小写字母，此时使用 flink sql 去读写 hive 阅读全文

摘要： ALTER TABLE esg_dsp.ODS_ACDM_T_ACDM_STAND_RULE_AIRLINE_kafka MODIFY COLUMN before string NULL COMMENT "更新前航班信息"; ALTER TABLE esg_dsp.ODS_ACDM_T_ACDM_S 阅读全文

摘要： java -cp ./checkRoutineLoad.jar com.sf.App jdbc:mysql://10.xx.xx.14:port,10.xx.xx.15:port,10.xx.xx.16:port accountName password alarmList alarmType al 阅读全文

摘要： Flume主要有以下几种监控方式： 1.JMX监控配置 {$FLUME_HOME}/conf/flume-env.sh cd $FLUME_HOME/confvi flume-env.sh export JAVA_OPTS="-Xms500m -Xmx10240m -Dcom.sun.managem 阅读全文

摘要： 官网：https://hudi.apache.org/cn/docs/0.7.0/overview/ https://hudi.apache.org/docs/quick-start-guide 阅读全文

摘要： SET start_day=case when '${start_day}'='null' then '$[time(yyyy-MM-dd,-3d)]' else '${start_day}' end; --3天前的 SET end_day=case when '${end_day}'='null' 阅读全文