2025年3月10日
3月9日
摘要： import math class Point: def __init__(self, x=0, y=0): self.x = x self.y = y def distance_from_origin(self): """计算点到原点的距离""" return math.sqrt(self.x * 阅读全文
posted @ 2025-03-10 08:11 KuanDong24 阅读(8) 评论(0) 推荐(0)
3月8日
摘要： 休息 阅读全文
posted @ 2025-03-10 08:09 KuanDong24 阅读(9) 评论(0) 推荐(0)
3月7日
摘要： 日志分析全流程 -- 1. 原始日志清洗 CREATE TABLE cleaned_logs AS SELECT user_id, action, duration FROM raw_logs WHERE duration > 0; -- 2. 按用户分区分桶存储 CREATE TABLE user 阅读全文
posted @ 2025-03-10 08:07 KuanDong24 阅读(8) 评论(0) 推荐(0)
3月6日
摘要： <template> <div class="container"> <div style="width: 25%; display: flex;background-color: white; "> <div style="flex: 1;width: 50%;padding: 50px;disp 阅读全文
posted @ 2025-03-10 08:05 KuanDong24 阅读(6) 评论(0) 推荐(0)
3月5日
摘要： 完成验收 from pyspark.sql import SparkSession from pyspark.sql.functions import col # 创建SparkSession spark = SparkSession.builder \ .appName("SparkMonitor 阅读全文
posted @ 2025-03-10 08:04 KuanDong24 阅读(9) 评论(0) 推荐(0)
3月4日
摘要： from pyspark.sql import SparkSession from pyspark.sql.functions import col # 创建SparkSession spark = SparkSession.builder \ .appName("SparkMonitoringEx 阅读全文
posted @ 2025-03-10 08:03 KuanDong24 阅读(6) 评论(0) 推荐(0)
3月3日
摘要： Hive+Spark性能优化 配置Spark作为Hive执行引擎 使用PySpark读取Hive表 from pyspark.sql import SparkSession spark = SparkSession.builder \ .appName("HiveIntegration") \ .c 阅读全文
posted @ 2025-03-10 08:03 KuanDong24 阅读(9) 评论(0) 推荐(0)
3月2日
摘要： 补充验收内容前端 Hive与HBase集成 CREATE EXTERNAL TABLE hive_hbase ( key STRING, name STRING, age INT ) STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandle 阅读全文
posted @ 2025-03-10 08:01 KuanDong24 阅读(8) 评论(0) 推荐(0)
3月1日
摘要： 今日重点研究Hive数据操作语言（DML），涵盖数据加载（LOAD DATA、INSERT）、查询和导出。完成以下实践： 从本地文件加载CSV数据到Hive表； 使用INSERT OVERWRITE将查询结果写入新表； 通过EXPORT/IMPORT实现表数据迁移。发现分区表加载数据时需显式指定分区 阅读全文
posted @ 2025-03-10 07:57 KuanDong24 阅读(10) 评论(0) 推荐(0)