2016年11月6日
spark streaming kafka1.4.1中的低阶api createDirectStream使用总结
摘要： 转载：http://blog.csdn.net/ligt0610/article/details/47311771 由于目前每天需要从kafka中消费20亿条左右的消息，集群压力有点大，会导致job不同程度的异常退出。原来使用spark1.1.0版本中的createStream函数，但是在数据处理速 阅读全文
posted @ 2016-11-06 21:06 大葱拌豆腐 阅读(3971) 评论(0) 推荐(0)