海量数据问题

在大规模数据处理中，经常会遇到的一类问题：在海量数据中找出出现频率最好的前k个数，或者从海量数据中找出最大的前k个数，这类问题通常被称为top K问题。例如，在搜索引擎中，统计搜索最热门的10个查询词；在歌曲库中统计下载最高的前10首歌等。

一.重复问题

  在海量数据中查找出重复出现的元素或者去除重复出现的元素也是常考的问题。针对此类问题，一般可以通过位图法实现。例如，已知某个文件内包含一些电话号码，每个号码为8位数字，统计不同号码的个数。

 本题最好的解决方法是通过使用位图法来实现。8位整数可以表示的最大十进制数值为99999999。如果每个数字对应于位图中一个bit位，那么存储8位整数大约需要99MB。因为1B=8bit，所以99Mbit折合成内存为99/8=12.375MB的内存，即可以只用12.375MB的内存表示所有的8位数电话号码的内容。(先把8除了也许会好理解一些)(bit---b--kb---M)

8bit(位)=1Byte(字节)
1024Byte(字节)=1KB
1024KB=1MB
1024MB=1GB
1024GB=1TB
一个汉字要占用2个字节

二.TOPK问题

1. 从一亿个数中找出最大的一万个数

思路：
1、先取一亿个数中的前一万个数，建立小顶堆。
2、从一亿个数的第一万零一个数起，到最后一个数遍历。如果遍历到的数大于堆顶，则把堆顶替换成遍历到的数，然后调整堆。
3、遍历之后的那一万个数就是一亿中的最大数了。

建堆时间复杂度是O（mlogm），算法的时间复杂度为O（nmlogm）（n为10亿，m为10000）。

优化的方法：可以把所有10亿个数据分组存放，比如分别放在1000个文件中。这样处理就可以分别在每个文件的10^6个数据中找出最大的10000个数，合并到一起在再找出最终的结果

本文转载于：http://doc.okbase.net/zyq522376829/archive/169290.html