KuanDong24

2025年3月10日

摘要：完成验收 from pyspark.sql import SparkSession from pyspark.sql.functions import col # 创建SparkSession spark = SparkSession.builder \ .appName("SparkMonitor 阅读全文

posted @ 2025-03-10 08:04 KuanDong24 阅读(9) 评论(0) 推荐(0)

3月4日

摘要： from pyspark.sql import SparkSession from pyspark.sql.functions import col # 创建SparkSession spark = SparkSession.builder \ .appName("SparkMonitoringEx 阅读全文

posted @ 2025-03-10 08:03 KuanDong24 阅读(6) 评论(0) 推荐(0)

3月3日

摘要： Hive+Spark性能优化配置Spark作为Hive执行引擎使用PySpark读取Hive表 from pyspark.sql import SparkSession spark = SparkSession.builder \ .appName("HiveIntegration") \ .c 阅读全文

posted @ 2025-03-10 08:03 KuanDong24 阅读(9) 评论(0) 推荐(0)

3月2日

摘要：补充验收内容前端 Hive与HBase集成 CREATE EXTERNAL TABLE hive_hbase ( key STRING, name STRING, age INT ) STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandle 阅读全文

posted @ 2025-03-10 08:01 KuanDong24 阅读(8) 评论(0) 推荐(0)

3月1日

摘要：今日重点研究Hive数据操作语言（DML），涵盖数据加载（LOAD DATA、INSERT）、查询和导出。完成以下实践：从本地文件加载CSV数据到Hive表；使用INSERT OVERWRITE将查询结果写入新表；通过EXPORT/IMPORT实现表数据迁移。发现分区表加载数据时需显式指定分区阅读全文

posted @ 2025-03-10 07:57 KuanDong24 阅读(10) 评论(0) 推荐(0)

2025年3月1日

2月28日

摘要：观看Spark生态体系相关视频，复习了Spark生态体系中的各个组件，总结了它们之间的协同工作方式学习Spark Core、Spark SQL 阅读全文

posted @ 2025-03-01 22:47 KuanDong24 阅读(8) 评论(0) 推荐(0)

2月27日

摘要：完成了性能优化的代码示例，通过调整配置参数和优化代码，提升了Spark程序的性能： from pyspark.sql import SparkSession from pyspark.sql.functions import col # 创建SparkSession spark = SparkSes 阅读全文

posted @ 2025-03-01 22:47 KuanDong24 阅读(8) 评论(0) 推荐(0)

2月26日

摘要：观看Spark错机制的代码示例，通过设置持久化级别和检查点，确保了Spark程序的可靠性复习Spark的故障恢复流程阅读全文

posted @ 2025-03-01 22:46 KuanDong24 阅读(9) 评论(0) 推荐(0)

2025年2月25日

2月25日

摘要：整合外包杯参赛移动端，修改主页面为matergo生成阅读全文

posted @ 2025-02-25 17:30 KuanDong24 阅读(11) 评论(0) 推荐(0)

2月24日

摘要：休息，前往石家庄植物园参观阅读全文

posted @ 2025-02-25 17:29 KuanDong24 阅读(7) 评论(0) 推荐(0)

公告