随笔分类 -  大数据架构 / 大数据平台

3. 从0到1搭建DeltaLake大数据平台 - 安装配置Hadoop
摘要：要在已经安装好Spark的集群上配置YARN（Yet Another Resource Negotiator），你可以按照以下步骤进行： 1. 安装 Hadoop 1.1 下载 Hadoop YARN是Hadoop的一部分，因此首先需要安装Hadoop。你可以从Apache Hadoop的官方网站下 阅读全文
posted @ 2024-10-22 11:14 ZH谢工 阅读(152) 评论(0) 推荐(0)
2. 从0到1搭建DeltaLake大数据平台 - 配置Spark集群
摘要：1. 配置Master vi $SPARK_HOME/conf/spark-env.sh export SPARK_MASTER_HOST=192.168.130.126 export SPARK_MASTER_PORT=7077 export SPARK_WORKER_CORES=2 export 阅读全文
posted @ 2024-10-18 08:50 ZH谢工 阅读(102) 评论(0) 推荐(0)
1. 从0到1搭建DeltaLake大数据平台 - Spark安装
摘要：1. 下载VMWare， 安装CentOS9虚拟机 2. 配置用户，创建目录 2.1. 以管理员身份登录，创建Spark用户给Spark使用 sudo adduser sparkuser 2.2. 修改新用户密码 （123456） sudo passwd sparkuser 2.3. 给新用户Spa 阅读全文
posted @ 2024-10-16 19:00 ZH谢工 阅读(149) 评论(0) 推荐(0)