摘要：
streaming 应用程序必须 24/7 运行, 因此必须对应用逻辑无关的故障（例如, 系统故障, JVM 崩溃等）具有弹性. 为了可以这样做, Spark Streaming 需要 checkpoint 足够的信息到容错存储系统, 以便可以从故障中恢复.checkpoint 有两种类型的数据. 阅读全文
posted @ 2017-11-07 16:56
gyhuminyan
阅读(207)
评论(0)
推荐(0)
摘要：
在集群上的 Spark Streaming application 中获得最佳性能需要一些调整.本节介绍了可调整的多个 parameters （参数）和 configurations （配置）提高你的应用程序性能.在高层次上, 你需要考虑两件事情: 通过有效利用集群资源, Reducing the 阅读全文
posted @ 2017-11-07 15:56
gyhuminyan
阅读(796)
评论(0)
推荐(0)
摘要：
调整 Spark 应用程序的内存使用情况和 GC behavior 已经有很多的讨论在 Tuning Guide 中.我们强烈建议您阅读一下.在本节中, 我们将在 Spark Streaming applications 的上下文中讨论一些 tuning parameters （调优参数）. Spa 阅读全文
posted @ 2017-11-07 15:33
gyhuminyan
阅读(452)
评论(0)
推荐(0)
摘要：
简介 Kafka 0.10的Spark Streaming集成设计与0.8 Direct Stream方法类似。 它提供了简单的并行性，Kafka分区和Spark分区之间的1：1对应关系，以及对偏移量和元数据的访问。 但是，由于较新的集成使用新的Kafka消费者API而不是简单的API，所以在使用上 阅读全文
posted @ 2017-11-07 15:25
gyhuminyan
阅读(1956)
评论(3)
推荐(1)
摘要：
（1）在pom.xml中加入如下依赖包 （2）在MySql中创建数据库和表，命令操作如下 （3）使用Java编写一个数据库连接池类 （5）打开netcat发送数据 （6）提交 阅读全文
posted @ 2017-11-07 14:24
gyhuminyan
阅读(7361)
评论(0)
推荐(0)
浙公网安备 33010602011771号