2020年5月8日
数仓day04----日志预处理2
摘要： 1.详细描述idmap的整个计算方案 （1）使用SparkSession对象读取用户不同类别的埋点日志，解析并抽取出相应的标识id，使用union进行合并，得到装有汇总标识id的rdd（ids） （2）利用ids分别构造图计算的vertex集合以及构造图计算的边集合（将出现次数小于2的边过滤掉） （ 阅读全文
posted @ 2020-05-08 23:59 一y样 阅读(253) 评论(0) 推荐(0)