随笔分类 - 大数据日知录
摘要:基本上是hash实用的各种举例 常用来检测某个原色是否是巨量数据集合中的成员,优势是节省空间,不会有漏判(已经存在的数据肯定能够查找到),缺点是有误判(不存在的数据可能也会被找到)。 应用场景有,chrome进行恶意的url判断,爬虫判断爬取过的url,缓存使用BF进行海量数据查找,比特币使用BF对
阅读全文
摘要:本章主要讲解大数据下如何做数据分片,所谓分片,即将大量数据分散在不同的节点,同时每个存储节点还要做副本备份。 而一般的抽象分片方法是, 先将数据映射到一个分片空间,这是多对一的关系,即一个数据分片区间可能有多条数据 再将分片空间映射到物理node,这也是多对一的关系,即一个物理node对应多个分片空
阅读全文

浙公网安备 33010602011771号