2018 年 4月随笔档案 - yimison

摘要：截图自：《kafka技术内幕：图文详解kafka源码设计与实现》阅读全文

posted @ 2018-04-25 17:08 yimison 阅读(390) 评论(0) 推荐(0)

摘要：截图自：《kafka 技术内幕：图文详解kafka源码设计与实现》阅读全文

posted @ 2018-04-23 15:40 yimison 阅读(321) 评论(0) 推荐(0)

摘要：spark ui acl 不生效的问题分析按照spark 文档配置了spark.acls.enable， spark.ui.view.acls 等参数，再去访问spark web ui后台，还是可以访问，说明acl没有生效。为什么么有生效呢？本人查看了spark源码后，发现要让acl 生效，还要配阅读全文

posted @ 2018-04-12 11:29 yimison 阅读(772) 评论(0) 推荐(0)

解决Spark集群无法停止

摘要：解决Spark集群无法停止执行stop-all.sh时，出现报错：no org.apache.spark.deploy.master.Master to stop，no org.apache.spark.deploy.worker.Worker to stop 原因： Spark的停止，是通过一些阅读全文

posted @ 2018-04-12 09:53 yimison 阅读(822) 评论(0) 推荐(0)

spark 作业调度

摘要：一、调度分类调度分为两种，一是应用之间的，二是应用内部作业的。（一）应用之间我们前面几章有说过，一个spark-submit提交的是一个应用，不同的应用之间是有调度的，这个就由资源分配者来调度。如果我们使用Yarn，那么就由Yarn来调度。调度方式的配置就在$HADOOP_HOME/etc/h 阅读全文

posted @ 2018-04-11 21:28 yimison 阅读(1665) 评论(0) 推荐(0)

hadoop，hbase，hive，zookeeper整合可行性分析及版本确定

摘要：hadoop，hbase，hive，zookeeper整合可行性分析及版本确定问题导读1.如何确定什么版本是稳定版本？2.本文是如何确定各个版本的？3.hbase1.x与hive1.x什么情况下是兼容的？前面一篇写过hadoop,hbase,hive，zookeeper版本整合兼容性最全，最详细说阅读全文

posted @ 2018-04-08 10:18 yimison 阅读(561) 评论(0) 推荐(0)

hadoop+spark+kudu

摘要：1.spark 和kudu 的兼容版本 spark 2.2 需要 kudu 1.5.0 阅读全文

posted @ 2018-04-04 16:35 yimison 阅读(188) 评论(0) 推荐(0)

kudu + spark + impala +hadoop

摘要：一、spark 2.2 需要Kudu 1.5.0以上版本二、Impala兼容Apache Impala 2.8.0 版本阅读全文

posted @ 2018-04-03 14:27 yimison 阅读(389) 评论(0) 推荐(0)

04 2018 档案

公告