2021年10月15日

idea 无法创建Scala class 选项解决办法汇总（IDEA 编写SCALA 一）

摘要：原因一：没有添加scala sdk 解决：file=>project structure =>Global Libraries,添加scala-sdk: 没有scala sdk的可以去网上下载。再检查一下.iml文件是否添加了scala sdk，没有的话加上： <orderEntry type=" 阅读全文

posted @ 2021-10-15 17:32 bug_x 阅读(632) 评论(0) 推荐(0)

Spark数据倾斜解决方案

摘要： 1、原理以及现象分析1.1、数据倾斜怎么出现的在执行shuffle操作的时候，是按照key，来进行values的数据的输出、拉取和聚合的。同一个key的values，一定是分配到一个reduce task进行处理的。多个key对应的values，比如一共是90万。可能某个key对应了88万数据，被阅读全文

posted @ 2021-10-15 16:44 bug_x 阅读(260) 评论(0) 推荐(0)

导航

2021年10月15日