xingoo

摘要： 试想一下，你现在所在的公司有一个hadoop的集群。但是A项目组经常做一些定时的BI报表，B项目组则经常使用一些软件做一些临时需求。那么他们肯定会遇到同时提交任务的场景，这个时候到底如何分配资源满足这两个任务呢？是先执行A的任务，再执行B的任务，还是同时跑两个？ 如果你存在上述的困惑，可以多了解一些 阅读全文

摘要： 工作中发现在oozie中使用sqoop与在shell中直接调度sqoop性能上有很大的差异。为了更深入的探索其中的缘由，开始了oozie的源码分析之路。今天第一天阅读源码，由于没有编译成功，不能运行测试用例，直接使用sublime肉眼阅读，还是挺费劲的。 虽然流程还不是顺畅，但是大体上的内容还算是了 阅读全文

摘要： 之前也看过产品经理相关的书籍《启示录》，这次还是从书单里面挑了这本《结网》。结网的作者就是著名的糗事百科创始人。之前连续几年看了几年的糗百，所以慕名拜读这本书。 书中内容 "豆瓣·结网" 关于沟通 沟通是人与人日常交流必不可少的部分，即便是天天写代码的程序员也是需要时常与人沟通的。比如询问技术负责人 阅读全文

摘要： 在hadoop生态越来越完善的背景下，集群多用户租用的场景变得越来越普遍，多用户任务下的资源调度就显得十分关键了。比如，一个公司拥有一个几十个节点的hadoop集群，a项目组要进行一个计算任务，b项目组要计算一个任务，集群到底先执行哪个任务？如果你需要提交1000个任务呢？这些任务又是如何执行的？ 阅读全文

摘要： ```java package cn.xingoo.learn.commons; import org.apache.commons.io.FileUtils; import org.apache.commons.io.filefilter.DirectoryFileFilter; import org.apache.commons.io.filefilter.FileFileFilter; i... 阅读全文

摘要： 最近工作遇到一个需求，需要下载excel模板，编辑后上传解析存储到数据库。因此为了更好的理解公司框架，我就自己先用spring mvc实现了一个样例。 基础框架 之前曾经介绍过一个最简单的spring mvc的项目如何搭建， "传送门在这里" 。 这次就基于这个工程，继续实现上传下载的小例子。需要做 阅读全文

摘要： Sqoop通过 split by指定切分的字段， m设置mapper的数量。通过这两个参数分解生成m个where子句，进行分段查询。因此sqoop的split可以理解为where子句的切分。 第一步，获取切分字段的MIN()和MAX() 为了根据mapper的个数切分table,sqoop首先会执行 阅读全文

摘要： Sqoop的使用应该是Oozie里面最常用的了，因为很多BI数据分析都是基于业务数据库来做的，因此需要把mysql或者oracle的数据导入到hdfs中再利用mapreduce或者spark进行ETL，生成报表信息。 因此本篇的Sqoop Action其实就是运行一个sqoop的任务而已。 同样ac 阅读全文

摘要： Oozie在执行sqoop的时候报错，同样的SQL在sqoop中可用，在oozie中不可用： 原因，在使用left join的时候使用了别名。而split by字段，没有指定别名。 至于为什么在sqoop中好使，这个有时间看看源码吧。 另外，Oozie在使用时间字段进行split by的时候也会报错 阅读全文

摘要：  阅读全文