随笔分类 -  spark未解决

一些还没有想清楚的记录
[undo][spark]RDD&DataFrame 使用RDD避免shuffle&大量Join记录
摘要：写在开头 由于自己对于大数据方面的知识只能说皮毛都没懂，很多问题不知道怎么解决和解释，所以有这么一个分类 该分类下只记录一些操作，以及粗略的解释，还有一些自己的思考以及顾虑，当作是记录自己从业的点滴吧。 任务场景 处理X个特征后拼接到原始表上，X * [id1,id2,raw_feature_1,. 阅读全文
posted @ 2021-10-29 16:42 riaris 阅读(146) 评论(0) 推荐(0)