摘要: 官方文档如下: http://oozie.apache.org/docs/5.0.0/AG_OozieUpgrade.html 这里写的比较简单,大概过程如下:1 下载5.0代码并编译;2 解压5.0包并替换oozie-site.xml;3 停掉所有的流程;4 按照官方文档说的升级DB;5 重新启动 阅读全文
posted @ 2018-12-13 16:35 匠人先生 阅读(585) 评论(0) 推荐(1)
摘要: yarn中有一个比较重要的配置yarn.nodemanager.local-dirs,如果配置的不好,在饱和状态运行下集群会出现很多问题:1 默认配置${hadoop.tmp.dir}/nm-local-dir,系统盘通常只有几百G,配置在这里会经常报磁盘空间不足的错误;2 配置到其中1个数据盘,比 阅读全文
posted @ 2018-12-13 16:24 匠人先生 阅读(8664) 评论(1) 推荐(0)
摘要: HDFS中的File由Block组成,一个File包含一个或多个Block,当创建File时会创建一个Block,然后根据配置的副本数量(默认是3)申请3个Datanode来存放这个Block; 通过hdfs fsck命令可以查看一个文件具体的Block、Datanode、Rack信息,例如: hd 阅读全文
posted @ 2018-12-13 15:59 匠人先生 阅读(2075) 评论(0) 推荐(0)
摘要: HDFS会周期性的检查是否有文件缺少副本,并触发副本复制逻辑使之达到配置的副本数, <property> <name>dfs.replication</name> <value>3</value> </property> 具体实现是在BlockManager中启动线程ReplicationMonit 阅读全文
posted @ 2018-12-13 15:39 匠人先生 阅读(2733) 评论(0) 推荐(1)
摘要: 公司一个kylin集群,每到周二下午就会逐个节点OOM退出,非常有规律,kylin集群5个节点,每个节点分配的内存已经不断增加到70多G,但是问题依旧; 经排查发现,每周二下午kylin集群的请求量确实会多一些,有可能是kylin的bug,也可能是其他原因,当节点kylin进程内存占用上升时,打印线 阅读全文
posted @ 2018-12-13 11:40 匠人先生 阅读(923) 评论(0) 推荐(1)
摘要: classloader简介 1 classloader层次结构(父子关系) Bootstrap(ClassLoader) ExtClassLoader AppClassLoader XXXClassLoader 详见代码如下: sun.misc.Launcher public Launcher() 阅读全文
posted @ 2018-12-12 23:11 匠人先生 阅读(338) 评论(0) 推荐(0)
摘要: 问题现象:hive执行sql报错 select count(*) from test_hive_table; 报错 Error: java.io.IOException: org.apache.hadoop.hbase.client.RetriesExhaustedException: Failed 阅读全文
posted @ 2018-12-12 18:50 匠人先生 阅读(5376) 评论(0) 推荐(0)
摘要: 常见调度框架实现方式 开源 Oozie 成熟稳定可靠,可直接用于生产环境 Azkaban 单点、简单粗暴,有两套独立的调度实现,必须二次开发才可用 Airflow 代码以及流程配置都是python 自己封装 基于quartz单机 使用zk来做分布式控制 常用quartz+zk做调度系统 使用db心跳 阅读全文
posted @ 2018-12-12 17:52 匠人先生 阅读(2487) 评论(0) 推荐(1)
摘要: 问题 Drill最新版本是1.14,从1.13开始Drill支持hive的版本升级到2.3.2,详见1.13的release notes The Hive client for Drill is updated to version 2.3.2. With the update, Drill sup 阅读全文
posted @ 2018-12-12 17:33 匠人先生 阅读(1924) 评论(0) 推荐(1)
摘要: 问题重现 rdd.repartition(1).write.csv(outPath) 写文件之后发现文件是压缩过的 write时首先会获取hadoopConf,然后从中获取是否压缩以及压缩格式 org.apache.spark.sql.execution.datasources.DataSource 阅读全文
posted @ 2018-12-12 17:25 匠人先生 阅读(2161) 评论(0) 推荐(0)