KuanDong24

2025年3月17日

摘要：创建内部表与外部表设计分区表（按日期分区） -- 创建分区表（日志数据按日期分区） CREATE EXTERNAL TABLE logs ( user_id STRING, action STRING, duration INT ) PARTITIONED BY (dt STRING) LOCAT 阅读全文

posted @ 2025-03-17 07:59 KuanDong24 阅读(12) 评论(0) 推荐(0)

3月14日

摘要：从本地/HDFS加载数据到分区表使用INSERT OVERWRITE导出查询结果 -- 从本地加载数据到分区 LOAD DATA LOCAL INPATH '/home/data/log_20230301.csv' OVERWRITE INTO TABLE logs PARTITION (dt=' 阅读全文

posted @ 2025-03-17 07:58 KuanDong24 阅读(7) 评论(0) 推荐(0)

3月13日

摘要：分区裁剪与分桶过滤启用Tez执行引擎 -- 启用Tez引擎 SET hive.execution.engine=tez; -- 分区裁剪优化查询 SELECT * FROM logs WHERE dt BETWEEN '2023-03-01' AND '2023-03-05'; -- 仅扫描相关分阅读全文

posted @ 2025-03-17 07:58 KuanDong24 阅读(6) 评论(0) 推荐(0)

3月12日

摘要：解析JSON格式日志使用LATERAL VIEW EXPLODE展开数组 -- 创建包含嵌套结构的表 CREATE TABLE user_behavior ( user_id STRING, actions ARRAY<STRUCT<page:STRING, time:TIMESTAMP>> ); 阅读全文

posted @ 2025-03-17 07:57 KuanDong24 阅读(8) 评论(0) 推荐(0)

3月11日

摘要：创建Hive映射HBase的表验证双向数据同步 CREATE EXTERNAL TABLE hive_hbase ( key STRING, name STRING, age INT ) STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHan 阅读全文

posted @ 2025-03-17 07:56 KuanDong24 阅读(9) 评论(0) 推荐(0)

3月10日

摘要：编写了Python装饰器和生成器的示例代码使用Scala实现了高阶函数和模式匹配的示例阅读全文

posted @ 2025-03-17 07:53 KuanDong24 阅读(7) 评论(0) 推荐(0)

2025年3月10日

3月9日

摘要： import math class Point: def __init__(self, x=0, y=0): self.x = x self.y = y def distance_from_origin(self): """计算点到原点的距离""" return math.sqrt(self.x * 阅读全文

posted @ 2025-03-10 08:11 KuanDong24 阅读(8) 评论(0) 推荐(0)

3月8日

摘要：休息阅读全文

posted @ 2025-03-10 08:09 KuanDong24 阅读(9) 评论(0) 推荐(0)

3月7日

摘要：日志分析全流程 -- 1. 原始日志清洗 CREATE TABLE cleaned_logs AS SELECT user_id, action, duration FROM raw_logs WHERE duration > 0; -- 2. 按用户分区分桶存储 CREATE TABLE user 阅读全文

posted @ 2025-03-10 08:07 KuanDong24 阅读(8) 评论(0) 推荐(0)

3月6日

摘要： <template> <div class="container"> <div style="width: 25%; display: flex;background-color: white; "> <div style="flex: 1;width: 50%;padding: 50px;disp 阅读全文

posted @ 2025-03-10 08:05 KuanDong24 阅读(6) 评论(0) 推荐(0)

公告