上一页 1 ··· 8 9 10 11 12 13 14 15 16 ··· 42 下一页
摘要: pom.xml 1 <?xml version="1.0" encoding="UTF-8"?> 2 <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-inst 阅读全文
posted @ 2024-09-18 20:47 连师傅只会helloword 阅读(258) 评论(0) 推荐(0)
摘要: 1 <?xml version="1.0" encoding="UTF-8"?> 2 <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" 3 阅读全文
posted @ 2024-09-14 11:21 连师傅只会helloword 阅读(87) 评论(0) 推荐(0)
摘要: 更换更高版本的hive和hadoop,然后重新加载pom.xml 阅读全文
posted @ 2024-09-12 15:47 连师傅只会helloword 阅读(137) 评论(0) 推荐(0)
摘要: 在最后一周,我进行了全面的总结,仔细回顾了整个学习过程中的收获与不足。通过整理我在Hadoop和Hive学习中的笔记,我归纳出了一些关键概念和实用技巧,比如Hive的分区与桶的使用、Hadoop的资源管理以及HiveQL的高效查询方法。这些总结不仅帮助我巩固了所学知识,也为我后续的学习提供了参考。 阅读全文
posted @ 2024-09-07 11:30 连师傅只会helloword 阅读(8) 评论(0) 推荐(0)
摘要: 在第七周,我决定进一步扩展对Hadoop生态系统中其他工具的了解,以便掌握更多数据处理框架的优势和特性。我集中精力学习了Apache Spark和Apache Flink这两个流行的框架,并比较它们与Hadoop的区别和各自的应用场景。 我通过阅读官方文档、参加在线课程和观看相关视频,深入了解了Sp 阅读全文
posted @ 2024-08-31 18:20 连师傅只会helloword 阅读(8) 评论(0) 推荐(0)
摘要: 在第六周,我将学习重点放在了一个实际的数据处理与分析项目上,以便将我所学的Hadoop和Hive知识应用于解决实际问题。我选择了一个公开的数据集,涵盖了一些具有挑战性的分析任务,这让我充满期待。 首先,我使用Hadoop的MapReduce框架对数据进行了预处理。这个阶段包括数据清洗、格式化和初步的 阅读全文
posted @ 2024-08-22 09:23 连师傅只会helloword 阅读(6) 评论(0) 推荐(0)
摘要: 在第五周,我的学习重点转向了Hive与Hadoop的集成。为了更好地理解这一过程,我首先复习了Hadoop的基本概念,确保自己对其架构和工作原理有清晰的认识。我重新梳理了HDFS、MapReduce和YARN的功能及其在大数据处理中的重要性,这为我后续的学习打下了坚实的基础。 随后,我开始学习如何在 阅读全文
posted @ 2024-08-10 15:06 连师傅只会helloword 阅读(13) 评论(0) 推荐(0)
摘要: 在第四周,我继续深入学习Hive的高级特性,着重研究了Hive的分区和桶的概念。这两种数据组织方式在处理大数据时具有显著的优势,可以帮助提高查询性能。我了解到,分区是将数据按照某些特定的列进行切分,每个分区对应着HDFS上的一个子目录,从而允许Hive在查询时只扫描相关分区,而不是全表扫描。这种方式 阅读全文
posted @ 2024-08-02 18:17 连师傅只会helloword 阅读(4) 评论(0) 推荐(0)
摘要: 在第三周,我的重点转向了Hive的深入学习,以便更好地理解这个强大的数据仓库工具。我首先了解了Hive的基本架构和工作原理,包括其核心组件Hive Metastore、HiveQL查询语言以及多种数据存储格式的应用。Hive Metastore是一个重要的元数据存储库,用于管理Hive表的结构和属性 阅读全文
posted @ 2024-07-20 22:26 连师傅只会helloword 阅读(11) 评论(0) 推荐(0)
摘要: 报错详细信息 Failed to execute goal org.apache.maven.plugins:maven-dependency-plugin:3.1.1:tree (default-cli) on project springbootbd-product: Cannot build 阅读全文
posted @ 2024-07-19 17:25 连师傅只会helloword 阅读(320) 评论(0) 推荐(0)
上一页 1 ··· 8 9 10 11 12 13 14 15 16 ··· 42 下一页