摘要：SparkConfiguration 这一章节来看看 Spark的相关配置. 并非仅仅能够应用于 SparkStreaming, 而是对于 Spark的各种类型都有支持. 各个不同. 其中中文参考链接版本是2.2， 而当前文档的版本是2.4.4 另外就是 关于Python R Spark SQL的相 阅读全文

摘要：SparkStreaming(1) ~ SparkStreaming编程指南 之所以写这部分内容的原因是, 无论是网络上可以直接找到的资料, 还是出版的书籍种种, 版本大都在1.6~2.0不等, 且资源零零散散, 需要到处百度, 搜罗资源. 但根据个人开发了一段时间的感觉来看, 会遇到的绝大多数问题 阅读全文

摘要：Spark调优 写在前面 对于调优, 我觉得是没有放之四海而皆准的办法. 很多时候, 调优显得没有必要, 即使不进行调优, 程序也能够顺利执行. 在没有出现问题的时候, 不进行调优, 即使是在大数据中, 这也是我常常采用的原则. 并且, 针对问题再进行调优, 往往是更为合适的. 比如, 明明资源充足 阅读全文

摘要：Spark 集群相关 来源于官方, 可以理解为是官方译文, 外加一点自己的理解. 版本是2.4.4 本篇文章涉及到: 集群概述 master, worker, driver, executor的理解 打包提交,发布 Spark application standalone模式 SparkCluste 阅读全文

摘要：SparkStreaming Kafka集成 参考链接： "Spark Streaming + Kafka Integration Guide" 文章基本是官方的翻译， 最多再加入了一小部分自己的思考在内， 如果能看懂官方文档， 也可以自行查看官网。 另外就是提供了自己实现的 zk + kafka 阅读全文