[置顶] 5分钟spark streaming实践之 与kafka联姻
摘要： 你：kafka是什么？ 我：嗯，这个嘛。。看官网。 Apache Kafka® is a distributed streaming platform Kafka is generally used for two broad classes of applications: Building re 阅读全文
posted @ 2018-03-22 16:09 大达大 阅读(463) 评论(0) 推荐(0)
[置顶] 5分钟学习spark streaming之 轻松在浏览器运行和修改Word Counts
摘要： 方案一：根据官方实例，下载预编译好的版本，执行以下步骤： 此方案的问题有 探索其中的api 比较困难，比如我想试试另外一种写法，需要改源码，然后编译,时间就变长了 如果是一个裸机的话，需要安装好java 环境，spark和java版本之间的依赖也要特别小心 方案二（2个docker 命令，你就可以为 阅读全文
posted @ 2018-03-21 16:05 大达大 阅读(339) 评论(0) 推荐(0)
2018年3月19日
5分钟学习spark streaming 表格和图形化的文档-概览
摘要： 看图回答以下问题： 1. spark streaming 架构以及功能特性 2. spark streaming mode？以及每个mode主要特性？包括延迟和语义保证。 阅读全文
posted @ 2018-03-19 13:55 大达大 阅读(192) 评论(0) 推荐(0)
2017年6月30日
spark source code 分析之ApplicationMaster overview（yarn deploy client mode）
摘要： 一直不是很清楚ApplicationMaster的作用，尤其是在yarn client mode和cluster mode的区别 网上有一些非常好的资料，请移步： https://blog.cloudera.com/blog/2014/05/apache-spark-resource-managem 阅读全文
posted @ 2017-06-30 17:07 大达大 阅读(218) 评论(0) 推荐(0)