随笔分类 -  大数据

摘要:1. yarn cluster模式提交spark任务 (1)执行脚本提交任务,实际是启动一个SparkSubmit的JVM进程。 (2)SparkSubmit类中的main方法反射调用YarnClusterApplication的start方法【在spark3.4.3中是start方法】。 (3)Y 阅读全文
posted @ 2024-07-12 18:12 瑾明达 阅读(491) 评论(0) 推荐(0)
摘要:Hive是什么? \t Hive 是一个基于 Hadoop 的数据仓库工具,它提供了类似 SQL 的查询语言 HQL(Hive Query Language),使得开发人员可以使用类 SQL 语言来查询和处理存储在大规模 分布式文件系统(如 HDFS)中的数据。 Hive有哪些功能? Hive 的主 阅读全文
posted @ 2023-05-06 17:34 瑾明达 阅读(357) 评论(0) 推荐(0)