我的随笔

Hive group by实现-就是word 统计

bonelee 2017-01-31 23:21 阅读:4059 评论:0 推荐:0

Hive mapreduce SQL实现原理——SQL最终分解为MR任务，而group by在MR里和单词统计MR没有区别了

bonelee 2017-01-31 23:04 阅读:12639 评论:0 推荐:1

SQL group by底层原理——本质是排序，可以利用索引事先排好序

bonelee 2017-01-31 22:48 阅读:25915 评论:0 推荐:0

TODO

bonelee 2017-01-26 17:58 阅读:526 评论:0 推荐:0

达观数据分析平台架构和Hive实践——TODO

bonelee 2017-01-26 17:54 阅读:438 评论:0 推荐:0

日志和告警数据挖掘经验谈——利用日志相似度进行聚类，利用时间进行关联分析

bonelee 2017-01-26 17:09 阅读:7773 评论:0 推荐:0

大数据分析处理框架——离线分析（hive，pig，spark）、近似实时分析（Impala）和实时分析（storm、spark streaming）

bonelee 2017-01-26 16:37 阅读:6670 评论:0 推荐:0

lucene中facet实现统计分析的思路——本质上和word count计数无异，像splunk这种层层聚合（先filed1统计，再field2统计，最后field3统计）lucene是排序实现

bonelee 2017-01-26 10:06 阅读:1267 评论:0 推荐:0

基于100,000篇演讲的分析数据科学家发现了最佳演讲者的特征——及时解释听众不懂的词语，必要时提高10%的音调，正确和恰当的手势，氛围的营造

bonelee 2017-01-25 15:28 阅读:413 评论:0 推荐:0

logz.io一个企业级的ELK日志分析器内部集成了机器学习识别威胁——核心：利用用户对于特定日志事件的反馈处理动作来学习判断日志威胁 + 类似语音识别的专家系统从各方收集日志威胁信息

bonelee 2017-01-25 15:23 阅读:2455 评论:0 推荐:0