随笔分类 -  Spark

spark 编译过程耗时,卡在test过程里
摘要:make clean 阅读全文

posted @ 2021-06-18 11:26 TMatrix52 阅读(68) 评论(0) 推荐(0)

hadoop之yarn 介绍
摘要:yarn作业调度流程 https://www.cnblogs.com/zsql/p/11636112.html 阅读全文

posted @ 2020-06-28 21:37 TMatrix52 阅读(114) 评论(0) 推荐(0)

spark shuffle 详解
摘要:从Spark-2.0.0开始,Spark 把 Hash Shuffle 移除,可以说目前 Spark-2.0 中只有一种 Shuffle,即为 Sort Shuffle。 https://zhuanlan.zhihu.com/p/67061627 阅读全文

posted @ 2020-06-27 15:56 TMatrix52 阅读(132) 评论(0) 推荐(0)

spark扫盲
摘要:从搬砖说起.... http://cw.h ubwiz.com/card/c/5449c691e564e50960f1b7a9/1/1/1/ 阅读全文

posted @ 2020-01-17 17:44 TMatrix52 阅读(76) 评论(0) 推荐(0)

Spark中cache、persist、checkpoint
摘要:https://andr-robot.github.io/Spark%E4%B8%ADcache-persist-checkpoint/ 阅读全文

posted @ 2020-01-09 15:12 TMatrix52 阅读(131) 评论(0) 推荐(0)

Spark Shuffle FetchFailedException解决方案
摘要:Spark Shuffle FetchFailedException解决方案 阅读全文

posted @ 2020-01-08 13:29 TMatrix52 阅读(594) 评论(0) 推荐(0)

Spark常见问题汇总
摘要:Spark常见问题汇总 阅读全文

posted @ 2020-01-07 11:30 TMatrix52 阅读(92) 评论(0) 推荐(0)

spark参数介绍
摘要:spark参数介绍 https://endymecy.gitbooks.io/spark-config-and-tuning/content/config.html 阅读全文

posted @ 2019-12-26 14:34 TMatrix52 阅读(88) 评论(0) 推荐(0)

spark文章
摘要:https://plushunter.github.io/2019/06/19/Spark-1/ 阅读全文

posted @ 2019-12-26 11:58 TMatrix52 阅读(86) 评论(0) 推荐(0)

集群运行Spark程序实例讲解
摘要:集群运行Spark程序实例讲解 阅读全文

posted @ 2019-12-26 11:55 TMatrix52 阅读(196) 评论(0) 推荐(0)

基于Spark UI性能优化与调试——初级篇
摘要:基于Spark UI性能优化与调试——初级篇 阅读全文

posted @ 2019-12-26 11:12 TMatrix52 阅读(119) 评论(0) 推荐(0)

Spark Shuffle FetchFailedException
摘要:https://blog.csdn.net/lsshlsw/article/details/51213610 阅读全文

posted @ 2019-12-25 20:44 TMatrix52 阅读(273) 评论(0) 推荐(0)

一些操作
摘要: 阅读全文

posted @ 2019-12-25 11:52 TMatrix52 阅读(74) 评论(0) 推荐(0)

scala 模式匹配
摘要:使用case语句构造匿名函数的“额外”好处, case语句(组合)除了可以被编译为匿名函数(类型是FunctionX,在Scala里,所有的函数字面量都是一个对象,这个对象的类型是FunctionX),还可以非常方便的编译为一个偏函数PartialFunction!(注意:PartialFuncti 阅读全文

posted @ 2019-12-22 18:34 TMatrix52 阅读(151) 评论(0) 推荐(0)

spark rdd
摘要:https://www.cnblogs.com/sharpxiajun/p/5506822.html 操作类型 函数名 作用 转化操作 map() 参数是函数,函数应用于RDD每一个元素,返回值是新的RDD flatMap() 参数是函数,函数应用于RDD每一个元素,将元素数据进行拆分,变成迭代器, 阅读全文

posted @ 2019-12-20 15:08 TMatrix52 阅读(335) 评论(0) 推荐(0)

导航