摘要：Hive优化 目标：①横向增加并发，②纵向较少依赖 Map的优化 作业会通过input的目录产生一个或者多个map任务。set dfs.block.size(=128) 是不是每个map处理接近文件块的大小？ 如何合并小文件，减少map数 set mapred.max.split.size=1000 阅读全文

摘要：Hive 背景 引入原因 对存在HDFS上的文件或HBase中的表进行查询时，是要手工写一推MapReduce代码 对于统计任务，只能由懂MapReduce的程序员才能搞定 耗时耗力，更多精力没有有效的释放出来 Hive基于一个统一的查询分析层，通过SQL语句的方式对HDFS上的数据进行查询、统计和 阅读全文