文章分类 -  转载-海量数据处理

[转载]Trie树
摘要:很有段时间没写此系列了,今天我们来说Trie树,Trie树的名字有很多,比如字典树,前缀树等等。一:概念 下面我们有and,as,at,cn,com这些关键词,那么如何构建trie树呢?从上面的图中,我们或多或少的可以发现一些好玩的特性。 第一:根节点不包含字符,除根节点外的每一个子节点都包含... 阅读全文

posted @ 2015-10-29 16:32 Jingle Guo 阅读(176) 评论(0) 推荐(0)

[转载]外排序
摘要:说到排序,大家第一反应基本上是内排序,是的,算法嘛,玩的就是内存,然而内存是有限制的,总有装不下的那一天,此时就可以来玩玩外排序,当然在我看来,外排序考验的是一个程序员的架构能力,而不仅仅局限于排序这个层次。一:N路归并排序1.概序 我们知道算法中有一种叫做分治思想,一个大问题我们可以采取分而治... 阅读全文

posted @ 2015-10-29 16:29 Jingle Guo 阅读(99) 评论(0) 推荐(0)

[转载]倒排索引(搜索引擎之基石)
摘要:1.简介倒排索引源于实际应用中需要根据属性的值来查找记录。这种索引表中的每一项都包括一个属性值和具有该属性值的各记录的地址。由于不是由记录来确定属性值,而是由属性值来确定记录的位置,因而称为倒排索引(inverted index)。带有倒排索引的文件我们称为倒排索引文件,简称倒排文件(inverte... 阅读全文

posted @ 2015-10-29 16:24 Jingle Guo 阅读(132) 评论(0) 推荐(0)

[转载]双层桶划分
摘要:【什么是双层桶】 事实上,与其说双层桶划分是一种数据结构,不如说它是一种算法设计思想。面对一堆大量的数据我们无法处理的时候,我们可以将其分成一个个小的单元,然后根据一定的策略来处理这些小单元,从而达到目的。【适用范围】 第k大,中位数,不重复或重复的数字【基本原理及要点】 因为元素范围很大,不能利用... 阅读全文

posted @ 2015-10-29 16:04 Jingle Guo 阅读(1260) 评论(0) 推荐(0)

[转载]数据库索引及优化
摘要:索引是对数据库表中一列或多列的值进行排序的一种结构,使用索引可快速访问数据库表中的特定信息。数据库索引什么是索引 数据库索引好比是一本书前面的目录,能加快数据库的查询速度。 例如这样一个查询:select * from table1 where id=44。如果没有索引,必须遍历整个表,直到ID... 阅读全文

posted @ 2015-10-29 16:00 Jingle Guo 阅读(248) 评论(0) 推荐(0)

[转载]堆
摘要:【什么是堆】概念:堆是一种特殊的二叉树,具备以下两种性质1)每个节点的值都大于(或者都小于,称为最小堆)其子节点的值2)树是完全平衡的,并且最后一层的树叶都在最左边这样就定义了一个最大堆。如下图用一个数组来表示堆:那么下面介绍二叉堆:二叉堆是一种完全二叉树,其任意子树的左右节点(如果有的话)的键值一... 阅读全文

posted @ 2015-10-29 15:51 Jingle Guo 阅读(112) 评论(0) 推荐(0)

[转载]Bit-map
摘要:【什么是Bit-map】所谓的Bit-map就是用一个bit位来标记某个元素对应的Value, 而Key即是该元素。由于采用了Bit为单位来存储数据,因此在存储空间方面,可以大大节省。如果说了这么多还没明白什么是Bit-map,那么我们来看一个具体的例子,假设我们要对0-7内的5个元素(4,7,2,... 阅读全文

posted @ 2015-10-29 15:42 Jingle Guo 阅读(120) 评论(0) 推荐(0)

[转载]Hash
摘要:【什么是Hash】Hash,一般翻译做“散列”,也有直接音译为“哈希”的,就是把任意长度的输入(又叫做预映射, pre-image),通过散列算法,变换成固定长度的输出,该输出就是散列值。这种转换是一种压缩映射,也就是,散列值的空间通常远小于输入的空间,不 同的输入可能会散列成相同的输出,而不可能从... 阅读全文

posted @ 2015-10-29 15:38 Jingle Guo 阅读(177) 评论(0) 推荐(0)

[转载]布隆过滤器(Bloom Filter)详解
摘要:布隆过滤器[1](Bloom Filter)是由布隆(Burton Howard Bloom)在1970年提出的。它实际上是由一个很长的二进制向量和一系列随机映射函数组 成,布隆过滤器可以用于检索一个元素是否在一个集合中。它的优点是空间效率和查询时间都远远超过一般的算法,缺点是有一定的误识别率(假正... 阅读全文

posted @ 2015-10-29 15:00 Jingle Guo 阅读(132) 评论(0) 推荐(0)