随笔分类 -  数仓

kettle转换中步骤间传值
摘要:使用背景:数据库1中的表存放了数据库2某个表中的主键字段,现在希望拿到数据库2表中的数据。 测试demo中使用DataGrid 模拟数据库1,Tableinput模拟数据库2。整体demoData Grid,模拟数据库1,存放了两个字段,两行数据Table input, 模拟数据库2, 存放了一个S 阅读全文
posted @ 2025-01-06 16:18 我是一只胖子 阅读(201) 评论(0) 推荐(0)
test,测试物化视图新增时间戳字段
摘要:使用触发器维护一个时间戳字段,这是ETL取数据时的常用手段。能优化不少sql,下面演示详细过程。 使用老演员scott 创建mvlog和mv SQL> CREATE MATERIALIZED VIEW LOG ON emp_source WITH PRIMARY KEY; SQL> CREATE M 阅读全文
posted @ 2022-11-19 11:41 我是一只胖子 阅读(124) 评论(0) 推荐(0)
安装单节点clickhouse
摘要:https://clickhouse.com/docs/zh/ 单节点安装跟集群安装都需要提前把clickhouse-server软件装好。 单节点与集群的区别就是一个连接了zookeeper,另外一个只读本地文件。 单节点 前置检查 CPU是否支持sse4_2 centos系统查看方法: [roo 阅读全文
posted @ 2022-07-18 12:38 我是一只胖子 阅读(671) 评论(0) 推荐(0)