随笔分类 -  hive随记

摘要：我们数据部门有这样一个规范：那就是提交作业的时候会给作业起一个名字，方便在yarn界面进行搜索, 比如mapreduce,hive on mr都可以通过mapreduce.job.name参数进行指定，spark在提交的时候也可以通过--name参数进行指定该应用的名字，这样在作业量很多的情况下，我 阅读全文

摘要：接了一个新需求：需要做数据仓库的血缘关系。正所谓兵来将挡水来土掩，那咱就动手吧。 血缘关系是数据治理的一块，其实有专门的第三方数据治理框架，但考虑到目前的线上环境已经趋于稳定，引入新的框架无疑是劳民伤财，伤筋动骨，所以就想以最小的代价把这个事情给做了。目前我们考虑做的血缘关系呢只是做输入表和输出表， 阅读全文