2021年10月10日
RDD 编程（一）
摘要： 1. RDD 的创建 创建 RDD 有三种方式： 从集合中创建 从外部存储创建 从其他 RDD 转换得到新的 RDD 1.1 从集合中创建 1、使用 parallelize 函数： import org.apache.spark.sql.SparkSession object CreateRdd { 阅读全文
posted @ 2021-10-10 22:40 Hubery_Jun 阅读(408) 评论(0) 推荐(0)
Hadoop集群配置（一）
摘要： 一、xcall.sh 作用：集群之间批量执行命令（前提：支持 ssh 免密登陆） 使用：sh xcall.sh jps #!/bin/bash params=$@ i=307 for (( i=137 ; i <=139 ; i = $i + 1 )) ; do echo hadoop@192.16 阅读全文
posted @ 2021-10-10 21:15 Hubery_Jun 阅读(72) 评论(0) 推荐(0)
Spark 完全分布式搭建
摘要： 1. scala 安装 1、准备工作 scala：scala-2.13.6.tar.gz 2、安装 // 将 scala-2.13.6.tar.gz 拷贝到 /home/hadoop/apps 解压 cd /home/hadoop/apps tar -zxvf scala-2.13.6.tar.gz 阅读全文
posted @ 2021-10-10 21:07 Hubery_Jun 阅读(589) 评论(0) 推荐(0)