2021 年 2月 6 日随笔档案 - 陕西小楞娃

2021年2月6日

摘要：排序 val conf = new SparkConf().setMaster("local").setAppName("sort") val sc = new SparkContext(conf) //需求: 根据数据计算个网站的PV、UV、同时、只显示top3 // 设置三个分区 //数据格式：阅读全文

posted @ 2021-02-06 22:13 陕西小楞娃阅读(256) 评论(0) 推荐(0)

spart_集合范围取值、去重、合并、相乘、交集、差集、cogroup、join

摘要：取范围 val conf = new SparkConf().setMaster("local").setAppName("test") val sc = new SparkContext(conf) val list = sc.parallelize(List(1,2,3,4,5,2,1)) va 阅读全文

posted @ 2021-02-06 21:54 陕西小楞娃阅读(392) 评论(0) 推荐(0)