摘要：1. RDD 的创建 创建 RDD 有三种方式： 从集合中创建 从外部存储创建 从其他 RDD 转换得到新的 RDD 1.1 从集合中创建 1、使用 parallelize 函数： import org.apache.spark.sql.SparkSession object CreateRdd { 阅读全文

摘要：一、xcall.sh 作用：集群之间批量执行命令（前提：支持 ssh 免密登陆） 使用：sh xcall.sh jps #!/bin/bash params=$@ i=307 for (( i=137 ; i <=139 ; i = $i + 1 )) ; do echo hadoop@192.16 阅读全文

摘要：1. scala 安装 1、准备工作 scala：scala-2.13.6.tar.gz 2、安装 // 将 scala-2.13.6.tar.gz 拷贝到 /home/hadoop/apps 解压 cd /home/hadoop/apps tar -zxvf scala-2.13.6.tar.gz 阅读全文