摘要：
1 框架一览 事件处理的架构图如下所示。 2 优化总结 当我们第一次部署整个方案时，kafka和flume组件都执行得非常好，但是spark streaming应用需要花费4-8分钟来处理单个batch。这个延迟的原因有两点，一是我们使用DataFrame来强化数据，而强化数据需要从hive中读取大 阅读全文
posted @ 2018-11-02 21:00
thinker1017
阅读(2199)
评论(0)
推荐(0)
摘要：
1.1 避免使用 GroupByKey 让我们看一下使用两种不同的方式去计算单词的个数，第一种方式使用 reduceByKey， 另外一种方式使用 groupByKey： val words = Array("one", "two", "two", "three", "three", "three" 阅读全文
posted @ 2018-11-02 20:59
thinker1017
阅读(1561)
评论(0)
推荐(0)
摘要：
当你开始编写Apache Spark代码或者浏览公开的API的时候，你会遇到诸如transformation，action，RDD等术语。了解到这些是编写Spark代码的基础。同样，当你任务开始失败或者你需要透过web界面去了解自己的应用为何如此费时的时候，你需要去了解一些新的名词:job, sta 阅读全文
posted @ 2018-11-02 20:57
thinker1017
阅读(798)
评论(0)
推荐(0)
摘要：
由于大部分Spark计算都是在内存中完成的，所以Spark程序的瓶颈可能由集群中任意一种资源导致，如：CPU、网络带宽、或者内存等。最常见的情况是，数据能装进内存，而瓶颈是网络带宽；当然，有时候我们也需要做一些优化调整来减少内存占用，例如将RDD以序列化格式保存。 本文将主要涵盖两个主题：1.数据序 阅读全文
posted @ 2018-11-02 20:55
thinker1017
阅读(251)
评论(0)
推荐(0)
摘要：
1 spark on yarn常用属性介绍 2 客户端模式和集群模式的区别 这里我们要区分一下什么是客户端模式（client mode），什么是集群模式（cluster mode）。 我们知道，当在YARN上运行Spark作业时，每个Spark executor作为一个YARN容器(containe 阅读全文
posted @ 2018-11-02 20:51
thinker1017
阅读(312)
评论(0)
推荐(0)
浙公网安备 33010602011771号