随笔分类 -  hive

摘要：UDAF有两种，第一种是比较简单的形式，利用抽象类UDAF和UDAFEvaluator，暂不做讨论。主要说一下第二种形式，利用接口GenericUDAFResolver2（或者抽象类AbstractGenericUDAFResolver）和抽象类GenericUDAFEvaluator。 这里用A... 阅读全文

摘要：hive的优化问题1。启动一次JOB尽可能多做事，尽量减少job的数量。能重用就重用，要设计好的模型。2。合理设置reduce个数，reduce个数过多，会造成大量小文件问题。3。使用hive.exec.parallel参数控制在同一个sql中的不同的job是否可以同时运行，提高作业的并发4。注意j... 阅读全文