2017年9月16日

spark-streaming读kafka数据到hive遇到的问题

摘要： 在项目中使用spark-stream读取kafka数据源的数据,然后转成dataframe,再后通过sql方式来进行处理,然后放到hive表中, 遇到问题如下,hive-metastor在没有做高可用的情况下,有时候会出现退出,这个时候,spark streaminG的微批作业就会失败, 然后再启重 阅读全文

posted @ 2017-09-16 20:38 tneduts 阅读(6543) 评论(1) 推荐(0) 编辑

yarn nodes label (yarn 划分子集群)

摘要： yarn node labels 特性给节点打标签可以把特性类似的节点分成一组,这样可以指定特定的应用执行在特定的机器群上.现在我们只支持节点划分,1.一个节点仅能有一个节点划分,即一个节点只能打一个标签.这样一个集群就可以被划分成多个不相交的子集群,默认的,节点属于一个叫default的分区.2. 阅读全文

posted @ 2017-09-16 11:17 tneduts 阅读(888) 评论(0) 推荐(0) 编辑

导航