05 2016 档案

saiku之行速度优化（三）
摘要：经历了前两轮优化之后，saiku由不可使用，优化到可以使用，不过在分析大量日志数据的时候，还有顿卡的感觉！继续观察背后执行的Sql，决定将注意力关注到索引上面！ 日志的主要使用场景是：固定日期维度的数据分析，也就是说where条件一定跟着日期等于某一天，那么纠结的是：每个字段都建立索引，还是和日期建 阅读全文
posted @ 2016-05-15 11:58 李秋 阅读(1323) 评论(0) 推荐(0)
is running beyond physical memory limits. Current usage: 2.0 GB of 2 GB physical memory used; 2.6 GB of 40 GB virtual memory used
摘要：昨天使用hadoop跑五一的数据，发现报错： 发现是内存溢出了，遇到这种问题首先要判断是map阶段溢出还是reduce阶段溢出，然后分别设置其内存的大小，比如： 因为默认值都是：1024M，也就是一个G，如果不够就会溢出！ 阅读全文
posted @ 2016-05-03 11:04 李秋 阅读(1540) 评论(0) 推荐(0)