随笔分类 - Spark
摘要：https://blog.csdn.net/wyqwilliam/article/details/82110860
阅读全文
摘要：https://www.jianshu.com/p/a30a794c68ac
阅读全文
摘要：Receiver Direct offset注意点
阅读全文
摘要：（一）https://zhuanlan.zhihu.com/p/49169166 （二）https://zhuanlan.zhihu.com/p/49185277 （三）https://zhuanlan.zhihu.com/p/51011021
阅读全文
摘要：转载 https://www.cnblogs.com/qingyunzong/p/8987579.html#_label4_1 sxt：spark day 05
阅读全文
摘要：1.Spark master使用zookeeper进行HA的，有哪些元数据保存在Zookeeper？ 答：spark通过这个参数spark.deploy.zookeeper.dir指定master元数据在zookeeper中保存的位置，包括Worker，Driver和Application以及Exe
阅读全文
摘要：转载 https://www.cnblogs.com/qingyunzong/p/8890483.html#_label1_0
阅读全文
摘要：转载： https://www.cnblogs.com/zzhangyuhang/p/9038580.html
阅读全文
摘要：1、Spark中application、job、stage、task、driver/executor之间的关系 一个application就是一个应用程序，包含了客户端所有的代码和计算资源 一个action操作对应一个DAG有向无环图，即一个action操作就是一个job 一个job中包含了大量的宽
阅读全文
摘要：转载： https://blog.csdn.net/zhyooo123/article/details/82703723
阅读全文
摘要：执行流程 client模式提交任务后，会在客户端启动Driver进程。 Driver会向Master申请启动Application启动的资源。 资源申请成功，Driver端将task发送到worker端执行。 worker将task执行结果返回到Driver端。 总结 client模式适用于测试调试
阅读全文
摘要：转载 ：https://blog.csdn.net/qq_27639777/article/details/82319560 Spark Cache的几点思考 Spark涵盖了大数据领域内的离线批处理、流式计算、机器学习和图计算等不同的场景，已经成为大数据计算领域首选的计算框架。由于spark框架的
阅读全文
摘要：回顾MR 对比Spark 核心RDD 理解RDD 一个 RDD 可以简单的理解为一个分布式的元素集合. RDD 表示只读的分区的数据集，对 RDD 进行改动，只能通过 RDD 的转换操作, 然后得到新的 RDD, 并不会对原 RDD 有任何的影响. 在 Spark 中, 所有的工作要么是创建 RDD
阅读全文
浙公网安备 33010602011771号