大数据 - 随笔分类 - huhy3

摘要：

@(RDD) 环境准备 IDEA2022 maven3.8.6 Hadoop3-3-0集群 Spark3-3-0 以上配置可查看我的往期博客 maven框架目录结构 pom文件 <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi 阅读全文

posted @ 2022-11-01 20:42 huhy3 阅读(113) 评论(0) 推荐(0)

maven打包jar包给spark

摘要：

@(maven打包jar包给spark) 安装maven 官网安装maven 1，官网下载到本地，Binary是可执行版本，已经编译好可以直接使用。 Source是源代码版本，需要自己编译成可执行软件才可使用。 2，查看安装路径，配置环境变量 3，配置好环境变量 4，cmd测试配置本地仓库 1，M 阅读全文

posted @ 2022-10-06 17:25 huhy3 阅读(525) 评论(0) 推荐(0)

spark on yarn部署

摘要：

@(部署spark) 环境准备基于已经搭建好的hadoop3.3.0集群使用spark3.3.0，注意hadoop要和spark版本要对应（去官网查看）官网地址：https://archive.apache.org/dist/spark/spark-3.3.0/ 配置spark 确保HADOO 阅读全文

posted @ 2022-09-24 12:33 huhy3 阅读(655) 评论(0) 推荐(0)

Ubuntu搭建全分布式Hadoop

摘要：

posted @ 2022-09-09 21:45 huhy3 阅读(215) 评论(0) 推荐(0)

随笔分类 - 大数据

公告