bonelee - 博客园

2017年1月26日

大数据分析处理框架——离线分析（hive，pig，spark）、近似实时分析（Impala）和实时分析（storm、spark streaming）

摘要：大数据分析处理架构图数据源：除该种方法之外，还可以分为离线数据、近似实时数据和实时数据。按照图中的分类其实就是说明了数据存储的结构，而特别要说的是流数据，它的核心就是数据的连续性和快速分析性；计算层：内存计算中的Spark是UC Berkeley的最新作品，思路是利用集群中的所有内存将要处理阅读全文

posted @ 2017-01-26 16:37 bonelee 阅读(6702) 评论(0) 推荐(0)

lucene中facet实现统计分析的思路——本质上和word count计数无异，像splunk这种层层聚合（先filed1统计，再field2统计，最后field3统计）lucene是排序实现

摘要： http://stackoverflow.com/questions/185697/the-most-efficient-way-to-find-top-k-frequent-words-in-a-big-word-sequence http://www.geeksforgeeks.org/find 阅读全文

posted @ 2017-01-26 10:06 bonelee 阅读(1290) 评论(0) 推荐(0)

2017年1月25日

基于100,000篇演讲的分析数据科学家发现了最佳演讲者的特征——及时解释听众不懂的词语，必要时提高10%的音调，正确和恰当的手势，氛围的营造

摘要： [TD精选] 基于100,000篇演讲的分析数据科学家发现了最佳演讲者的特征相信大部分人一定试图寻找过使得自己的演讲变得更加吸引人，更加有气势的方法。现如今，在大数据工具和机器学习技术的辅助下，找到完美演讲的答案已经变得十分容易。Noah Zandan, CEO of Quantified Com 阅读全文

posted @ 2017-01-25 15:28 bonelee 阅读(423) 评论(0) 推荐(0)

logz.io一个企业级的ELK日志分析器内部集成了机器学习识别威胁——核心：利用用户对于特定日志事件的反馈处理动作来学习判断日志威胁 + 类似语音识别的专家系统从各方收集日志威胁信息

摘要：转自：可看到它使用机器学习算法来识别DNS安全问题 http://logz.io/blog/machine-learning-log-analytics/ A Machine Learning Approach to Log Analytics By Tomer Levy| January 19t 阅读全文

posted @ 2017-01-25 15:23 bonelee 阅读(2477) 评论(0) 推荐(0)

2017年1月24日

lucene搜索之facet查询原理和facet查询实例——TODO

摘要：转自：http://www.lai18.com/content/7084969.html Facet说明我们在浏览网站的时候，经常会遇到按某一类条件查询的情况，这种情况尤以电商网站最多，以天猫商城为例，我们选择某一个品牌，系统会将该品牌对应的商品展示出来，效果图如下：如上图，我们关注的是品牌，选购阅读全文

posted @ 2017-01-24 15:36 bonelee 阅读(1896) 评论(0) 推荐(0)

ElasticSearch聚合分析API——非常详细，如果要全面了解的话，最好看这个

摘要：转自：http://www.tianyiqingci.com/2016/04/11/esaggsapi/ 前言转自：http://www.tianyiqingci.com/2016/04/11/esaggsapi/ 前言说完了ES的索引与检索，接着再介绍一个ES高级功能API – 聚合(Aggr 阅读全文

posted @ 2017-01-24 10:21 bonelee 阅读(2205) 评论(0) 推荐(0)

wiredtiger引擎性能——比levelDB更牛叉！

摘要： WE'VE JOINED MONGODB! We're proud to announce that MongoDB has acquired WiredTiger, and we've joined the MongoDB team! We will be directly involved in 阅读全文

posted @ 2017-01-24 10:04 bonelee 阅读(808) 评论(0) 推荐(0)

mongodb数据文件结构——record是内嵌BSON的双向链表，多个record或索引组成extent

摘要：数据文件结构 Extent 在每一个数据文件内，MongoDB把所存储的BSON文档的数据和B树索引组织到逻辑容器“Extent”里面。如下图所示（my-db.1和my-db.2 是数据库的两个数据文件）：一个文件可以有多个Extent 每一个Extent只会包含一个集合的数据或者索引同一个集合阅读全文

posted @ 2017-01-24 09:53 bonelee 阅读(816) 评论(0) 推荐(0)

MongoDB Wiredtiger存储引擎实现原理——Copy on write的方式管理修改操作，Btree cache

摘要：转自：http://www.mongoing.com/archives/2540 传统数据库引擎的数据组织方式，一般存储引擎都是采用 btree 或者 lsm tree 来实现索引，但是索引的最小单位不是 K/V 记录对象，而是数据页，数据页的组织关系实现就是存储引擎的数据组织方式。 Mongodb 阅读全文

posted @ 2017-01-24 09:05 bonelee 阅读(1794) 评论(0) 推荐(0)

2017年1月23日

elasticsearch聚合操作——本质就是针对搜索后的结果使用桶bucket（允许嵌套）进行group by，统计下分组结果，包括min/max/avg

摘要：分析最后，我们还有一个需求需要完成：允许管理者在职员目录中进行一些分析。 Elasticsearch有一个功能叫做聚合(aggregations)，它允许你在数据上生成复杂的分析统计。它很像SQL中的GROUP BY但是功能更强大。 + + 举个例子，让我们找到所有职员中最大的共同点（兴趣爱好）是阅读全文

posted @ 2017-01-23 18:10 bonelee 阅读(9297) 评论(0) 推荐(0)

将者，智、信、仁、勇、严也。

Hi，我是李智华，华为-安全AI算法专家，欢迎来到安全攻防对抗的有趣世界。

公告