spark-streaming读kafka数据到hive遇到的问题
摘要:
在项目中使用spark-stream读取kafka数据源的数据,然后转成dataframe,再后通过sql方式来进行处理,然后放到hive表中, 遇到问题如下,hive-metastor在没有做高可用的情况下,有时候会出现退出,这个时候,spark streaminG的微批作业就会失败, 然后再启重 阅读全文
posted @ 2017-09-16 20:38 tneduts 阅读(6550) 评论(1) 推荐(0) 编辑