2018年9月25日
spark StructType的应用，用在处理mongoDB keyvalue
摘要： 近期在处理mongoDB 数据的时候，遇到了非常奇怪的格式,账号密码的日志都追加在一条记录里面，要取一个密码的时长和所有密码的平均时长就非常繁琐。 用了各种迭代计算，非常困难，而且printschema出来结构也是不规范的。 和同事一起研究后用了StructType 效率非常高。 代码如下： 阅读全文
posted @ 2018-09-25 15:46 残阳飞雪 阅读(3335) 评论(0) 推荐(0)