摘要：
优化时，把hive sql当做map reduce程序来读，会有意想不到的惊喜。 理解Hadoop的核心能力，是hive优化的根本。这是这一年来，项目组所有成员宝贵的经验总结。 长期观察hadoop处理数据的过程，有几个显著的特征: 1.不怕数据多，就怕数据倾斜。 2．对jobs数比较多的作业运行效 阅读全文
posted @ 2016-08-03 15:55
宝山方圆
阅读(385)
评论(0)
推荐(0)
摘要：
一、概述 在多维分析的商业智能解决方案中，根据事实表和维度表的关系，又可将常见的模型分为星型模型和雪花型模型。在设计逻辑型数据的模型的时候，就应考虑数据是按照星型模型还是雪花型模型进行组织。 当所有维表都直接连接到“ 事实表”上时，整个图解就像星星一样，故将该模型称为星型模型，如图 1 。 星型架构 阅读全文
posted @ 2016-08-03 15:45
宝山方圆
阅读(402)
评论(0)
推荐(0)
摘要：
带limit的hivesql排序 select requestdomain,count(1) as cnt from ods_cndns_real_log where dt = 20160707 group by requestdomain order by cnt desc limit 1000; 阅读全文
posted @ 2016-08-03 15:32
宝山方圆
阅读(9272)
评论(0)
推荐(0)
浙公网安备 33010602011771号