摘要：
经常一起购买的商品 scala> var file=sc.textFile("/user/ghj/togeterBought") file: org.apache.spark.rdd.RDD[String] = /user/ghj/togeterBought MapPartitionsRDD[28] 阅读全文
posted @ 2020-05-19 16:12
疯狂摇头的青蛙
阅读(180)
评论(0)
推荐(0)
摘要：
maven项目添加pom依赖后，一直不能正常导入所依赖的jar包，并且报错“ Auto build completed with errors” 阅读全文
posted @ 2017-09-12 16:09
疯狂摇头的青蛙
阅读(15022)
评论(3)
推荐(0)
摘要：
aggregateByKey与aggregate类似，都是进行两次聚合，不同的是后者只对分区有效，前者对分区中key进一步细分 def aggregateByKey[U: ClassTag](zeroValue: U, partitioner: Partitioner) (seqOp: (U, V) 阅读全文
posted @ 2017-09-08 16:19
疯狂摇头的青蛙
阅读(1689)
评论(0)
推荐(0)
摘要：
aggregate函数将每个分区里面的元素进行聚合，然后用combine函数将每个分区的结果和初始值(zeroValue)进行combine操作。这个函数最终返回的类型不需要和RDD中元素类型一致。 def aggregate[U: ClassTag](zeroValue: U)(seqOp: (U 阅读全文
posted @ 2017-09-08 15:31
疯狂摇头的青蛙
阅读(684)
评论(0)
推荐(0)
摘要：
C/Sc:client s:server就是客户端与服务器结构，常见的软件系统结构体系，通过将任务合理分配到client端和server端，降低系统的通讯资源使用，充分利用两段硬件环境的优势，架构的界面和操作可以很丰富，安全性能容易保证，并且由于只有一层交互，响应速度较快。但是，缺点是适用面较窄，通 阅读全文
posted @ 2017-04-26 15:20
疯狂摇头的青蛙
阅读(534)
评论(0)
推荐(0)