摘要： 1.parallelStream可以让流库以并行方式来执行过滤和计数。 2.使用流，可以说明想要完成什么任务，而不是说明如何去使用它。 3.流不会改变，总会新建（中间流转换操作） 阅读全文

摘要： 技术点：RDD的join操作可能产生数据倾斜，当两个RDD不是非常大的情况下，可以通过Broadcast的方式在reduce端进行类似（Join）的操作： broadcast是进程级别的，只读的。 broadcast 可以适用于小表的广播，通过广播到对应节点的内存中（受blockManager的管理 阅读全文

摘要： 数据倾斜特征：个别Task处理大部分数据 后果：1.OOM;2.速度变慢，甚至变得慢的不可接受 常见原因： 数据倾斜的定位： 1.WebUI（查看Task运行的数据量的大小）。 2.Log,查看log中哪一行出现OOM,查找具体哪个Stage,进而确定哪一个shuffle产生了数据倾斜。 3.查看代 阅读全文