文章分类 -  Spark Streaming

摘要：方式1： /home/mr/spark/bin/spark-shell (--master spark://$(echo `hostname`):7077 --executor-memory 5G --total-executor-cores 3 sqlContext.sql("use zxvmax 阅读全文

摘要：自从把Spark 从1.3升级到1.6之后，kafka Streaming相关问题频出。最近又遇到了一个。 job中使用Kafka DirectStream 读取topic中数据，然后做处理。其中有个测试job，停止了几天，再次启动时爆出了kafka.common.OffsetOutOfRangeE 阅读全文

摘要：2016-04-12 17:28 http://blog.csdn.net/xueba207/article/details/51135423 问题描述 笔者使用Spark streaming读取Kakfa中的数据，做进一步处理，用到了KafkaUtil的createDirectStream()方法 阅读全文