Loading

上一页 1 2 3 4 5 6 ··· 10 下一页
摘要: 释义 reduceByKey类似reduce,但reduceByKey 是先根据key进行分组,再将每个组内的记录归并成1个记录,最终返回一个PairRDD,k为key类型,v为每个组归并后的记录类型 方法签名如下: def reduceByKey(func: (V, V) => V): RDD[( 阅读全文
posted @ 2021-06-09 22:03 Convict 阅读(19) 评论(0) 推荐(0) 编辑
摘要: 释义 reduce将partition内所有记录最终计算成1个记录,结果类型与reduce 时数据类型一致 方法签名如下: def reduce(f: (T, T) => T): T = withScope { ... } f: 每个partition内,每每两条记录进行归并计算。输入类型为U跟U, 阅读全文
posted @ 2021-06-08 19:51 Convict 阅读(27) 评论(0) 推荐(0) 编辑
摘要: 初始化测试数据 df = pd.DataFrame({'stu_name': ['Nancy', 'Tony', 'Tim', 'Jack', 'Lucy'], 'stu_age': [17, 16, 16, 21, 19]}) stu_name stu_age 0 Nancy 17 1 Tony 阅读全文
posted @ 2021-06-06 17:27 Convict 阅读(56) 评论(0) 推荐(0) 编辑
摘要: 1. 使用 drop_duplicates 去重 1.1 初始化数据 df = pd.DataFrame({'stu_name': ['Tom', 'Tony', 'Jack', 'Jack', np.nan], 'stu_age': [16, 16, 15, np.nan, 21]}) stu_n 阅读全文
posted @ 2021-06-06 13:40 Convict 阅读(37) 评论(0) 推荐(0) 编辑
摘要: 释义 aggregateByKey逻辑类似 aggregate,但 aggregateByKey针对的是PairRDD,即键值对 RDD,所以返回结果也是 PairRDD,结果形式为:(各个Key, 同样Key对应的Value聚合后的值) aggregateByKey先将每个partition内元素 阅读全文
posted @ 2021-05-30 17:26 Convict 阅读(18) 评论(0) 推荐(0) 编辑
摘要: 释义 将每个partition内元素进行聚合,然后将每个partition的聚合结果进行combine,得到最终聚合结果。最终结果允许跟原始RDD类型不同 方法签名如下: def aggregate[U: ClassTag](zeroValue: U)(seqOp: (U, T) => U, com 阅读全文
posted @ 2021-05-30 16:21 Convict 阅读(13) 评论(0) 推荐(0) 编辑
摘要: Scala版 import org.apache.spark.{SparkConf, SparkContext} object WordCountScala { def main(args: Array[String]): Unit = { val conf: SparkConf = new Spa 阅读全文
posted @ 2021-05-30 15:25 Convict 阅读(36) 评论(0) 推荐(0) 编辑
摘要: Scala是函数式编程语言,因此没有直接的break与continue关键字,要实现break与continue效果,需要绕一下。 需要导入包: import util.control.Breaks.{break, breakable} 实现break breakable { for (i <- 0 阅读全文
posted @ 2021-05-25 20:44 Convict 阅读(26) 评论(0) 推荐(0) 编辑
摘要: 1. 利用date命令重定向到以当前时间命名的文件 例如: ls -l > mylog_$(date +"%Y-%m-%d_%H-%M-%S").log 或: ls -l > mylog_`date +"%Y-%m-%d_%H-%M-%S"`.log 2. 配合Crontab实现定时日志 例如:每5 阅读全文
posted @ 2021-05-24 23:33 Convict 阅读(269) 评论(0) 推荐(0) 编辑
摘要: 1. 记住网卡名称 ifconfig 2. 记住网关地址 netstat -rn 3. 配置静态IP 注意:Ubuntu18固定IP的方式跟Ubuntu18之前版本的的配置方式不同, Ubuntu18之前在/etc/network/interfaces进行配置, Ubuntu18及之后版本在/etc 阅读全文
posted @ 2021-05-16 12:37 Convict 阅读(125) 评论(0) 推荐(0) 编辑
上一页 1 2 3 4 5 6 ··· 10 下一页