摘要：
数据抽取是指从源数据源系统抽取需要的数据。实际应用中，数据源较多采用的是关系数据库。总体而言，数据抽取的常见方法有两大类，一是基于查询式的，一是基于日志的。 基于查询式的数据抽取 基于查询式的数据抽取，顾名思义，以从来源库来源表查询数据为主。总体又有几种：触发器方式，增量字段方式，时间戳方式等等。 阅读全文
posted @ 2025-11-29 09:32
每天进步多一点
阅读(5)
评论(0)
推荐(0)
摘要：
ETL的过程 1、数据抽取：确定数据源，定义数据接口，选择数据抽取方法（主动抽取或由源系统推送）。2、数据清洗：处理不完整数据、错误数据、重复数据等，确保数据的准确性和一致性。（是数据转换的一部分）3、数据转换：进行空值处理、数据标准统一、数据拆分、数据验证、数据替换和数据关联等操作。4、规则检查： 阅读全文
posted @ 2025-11-29 09:24
每天进步多一点
阅读(11)
评论(0)
推荐(0)
摘要：
取得当天0时0分0秒和23时59分59秒 --MYSQL SELECT DATE_FORMAT(SYSDATE(), '%Y-%m-%d 23:59:59') FROM DUAL; SELECT DATE_FORMAT(SYSDATE(), '%Y-%m-%d 00:00:00') FROM DAU 阅读全文
posted @ 2025-11-29 09:03
每天进步多一点
阅读(3)
评论(0)
推荐(0)
摘要：
数据库运维需要掌握的技能之一数据库的迁移，而MySQL数据库是我们常用的数据库之一，掌握mysql 数据库的数据迁移，也是必备的技能选项。数据库的迁移，我们必须要思考如下几个点： 需要迁移数据库的数据量大小 需要迁移的数据库对象是什么， 考虑使用何种迁移方法！ 这三个思考要点，适合于所用的数据库迁移 阅读全文
posted @ 2025-11-29 08:56
每天进步多一点
阅读(40)
评论(0)
推荐(0)
浙公网安备 33010602011771号