2018年11月2日
大叔问题定位分享（2）spark任务一定几率报错java.lang.NoSuchFieldError: HIVE_MOVE_FILES_THREAD_COUNT
摘要： 最近用yarn cluster方式提交spark任务时，有时会报错，报错几率是40%，报错如下： 18/03/15 21:50:36 116 ERROR ApplicationMaster91: User class threw exception: org.apache.spark.sql.Ana 阅读全文
posted @ 2018-11-02 15:01 匠人先生 阅读(2676) 评论(0) 推荐(0)
大数据基础之Quartz（1）简介、源代码解析
摘要： 一简介 官网 http://www.quartz-scheduler.org/ What is the Quartz Job Scheduling Library? Quartz is a richly featured, open source job scheduling library tha 阅读全文
posted @ 2018-11-02 11:20 匠人先生 阅读(627) 评论(0) 推荐(0)
大数据基础之Oozie vs Azkaban
摘要： 概括 Azkaban是一个非常轻量的开源调度框架，适合二次开发，但是无法直接用于生产环境，存在致命缺陷（比如AzkabanWebServer是单点，1年多时间没有修复），在一些情景下的行为简单粗暴（比如重启AzkabanExecutorServer会导致该server上正在运行的所有流程fail）， 阅读全文
posted @ 2018-11-02 11:12 匠人先生 阅读(1301) 评论(0) 推荐(2)
大数据基础之Azkaban（1）简介、源代码解析
摘要： Azkaban3.45 一 简介 1 官网 https://azkaban.github.io/ Azkaban was implemented at LinkedIn to solve the problem of Hadoop job dependencies. We had jobs that 阅读全文
posted @ 2018-11-02 11:09 匠人先生 阅读(1967) 评论(0) 推荐(1)
大数据基础之Oozie（1）简介、源代码解析
摘要： Oozie4.3 一 简介 1 官网 http://oozie.apache.org/ Apache Oozie Workflow Scheduler for Hadoop Hadoop生态的工作流调度器 Overview Oozie is a workflow scheduler system t 阅读全文
posted @ 2018-11-02 11:05 匠人先生 阅读(2454) 评论(0) 推荐(1)
大数据基础之Zookeeper（4）应用场景
摘要： 1 集群配置管理 应用服务器的配置通常会放到properties文件中，格式为： system1.module2.prop3=value4 然后启动的时候加载，这样带来的问题是启动后无法修改，想修改必须要重启应用服务器； 一个简单的替代方式是存放到数据库中，应用服务器每次从数据库中加载配置，这样带来 阅读全文
posted @ 2018-11-02 10:56 匠人先生 阅读(301) 评论(0) 推荐(1)