10 2016 档案

布隆过滤器(Bloom Filter)详解
摘要:直观的说,bloom算法类似一个hash set,用来判断某个元素(key)是否在某个集合中。和一般的hash set不同的是,这个算法无需存储key的值,对于每个key,只需要k个比特位,每个存储一个标志,用来判断key是否在集合中。 算法: 1. 首先需要k个hash函数,每个函数可以把key散 阅读全文

posted @ 2016-10-30 13:45 李玉龙 阅读(193329) 评论(9) 推荐(29)

nodejs vs python
摘要:nodejs 速度略胜 阅读全文

posted @ 2016-10-27 20:39 李玉龙 阅读(298) 评论(0) 推荐(0)

计划
摘要:google的3篇论文 raft 其他协议 阅读全文

posted @ 2016-10-27 18:55 李玉龙 阅读(137) 评论(0) 推荐(0)

Bigtable:一个分布式的结构化数据存储系统
摘要:Bigtable:一个分布式的结构化数据存储系统 摘要 Bigtable是一个管理结构化数据的分布式存储系统,它被设计用来处理海量数据:分布在数千台通用服务器上的PB级的数据。Google的很多项目将数据存储在Bigtable中,包括Web索引、Google Earth、Google Finance 阅读全文

posted @ 2016-10-26 20:46 李玉龙 阅读(2388) 评论(0) 推荐(0)

The Google File System 中文版
摘要:摘要 我们设计并实现了Google文件系统,一个面向分布式数据密集型应用的、可伸缩的分布式文件系统。虽然运行在廉价的日用硬件设备上,但是它依然了提供容错功能,为大量客户机提供了很高的总体性能。 虽然与很多之前的分布式文件系统有很多相同目标,但是,我们的设计已经受应用的负载情况和技术环境影响,现在以及 阅读全文

posted @ 2016-10-26 20:45 李玉龙 阅读(4811) 评论(0) 推荐(0)

HIVE和HBASE区别
摘要:HIVE和HBASE区别 1. 两者分别是什么? Apache Hive是一个构建在Hadoop基础设施之上的数据仓库。通过Hive可以使用HQL语言查询存放在HDFS上的数据。HQL是一种类SQL语言,这种语言最终被转化为Map/Reduce. 虽然Hive提供了SQL查询功能,但是Hive不能够 阅读全文

posted @ 2016-10-26 20:38 李玉龙 阅读(400) 评论(0) 推荐(0)

区分 hdfs hbase hive hbase适用场景
摘要:区分 hdfs hbase hive hbase适用场景 收藏 八戒_o 发表于 11个月前 阅读 308 收藏 1 点赞 0 评论 0 区分 hdfs hbase hive hbase适用场景 收藏 八戒_o 发表于 11个月前 阅读 308 收藏 1 点赞 0 评论 0 收藏 收藏 八戒_o 发 阅读全文

posted @ 2016-10-26 20:36 李玉龙 阅读(19503) 评论(0) 推荐(1)

HDFS Hbase
摘要:Hbase:Hbase是Hadoop的数据库,是bigtable的实现,基于HDFSHDFS:文件系统,是gfs的实现 Hive,Hbase,HDFS等之间的关系Hive:Hive不支持更改数据的操作,Hive基于数据仓库,提供静态数据的动态查询。其使用类SQL语言,底层经过编译转为MapReduc 阅读全文

posted @ 2016-10-26 20:33 李玉龙 阅读(485) 评论(0) 推荐(0)

raft动画
摘要:http://thesecretlivesofdata.com/raft/ 阅读全文

posted @ 2016-10-26 10:35 李玉龙 阅读(268) 评论(0) 推荐(0)

NWR协议
摘要:NWR是一种在分布式存储系统中用于控制一致性级别的一种策略。在Amazon的Dynamo云存储系统中,就应用NWR来控制一致性。 让我们先来看看这三个字母的含义:N:在分布式存储系统中,有多少份备份数据W:代表一次成功的更新操作要求至少有w份数据写入成功R: 代表一次成功的读数据操作要求至少有R份数 阅读全文

posted @ 2016-10-26 09:46 李玉龙 阅读(3390) 评论(0) 推荐(0)

向量时钟算法
摘要:这个算法有几个问题: 1条记录存9份 一主一备时 1.主同步到备异步: 主挂掉时,未同步到备的数据会丢失 2. 主同步到备同步:主挂掉时,未写入备的数据全部丢失,但是前端会感知到写失败,因此是可行的。但是主备切换后,需要仲裁丢掉之前的主的数据 一主多备时 1. 主同步到备k个就算成功。。。 使用时间 阅读全文

posted @ 2016-10-25 20:46 李玉龙 阅读(644) 评论(0) 推荐(0)

开源软件
摘要:drools 规则引擎 cobbler 自动化系统部署 ansible 自动运维框架 Sonar 代码质量管理工具 阅读全文

posted @ 2016-10-17 11:08 李玉龙 阅读(117) 评论(0) 推荐(0)

static_cast和reinterpret_cast
摘要:static_cast和reinterpret_cast 相同点:都是暴力转换,从一个类型转换为另一个类型,对于类指针不会保证安全性 static_cast和reinterpret_cast的区别主要在于多重继承,比如 1 2 3 4 5 6 7 8 9 10 11 class A { public 阅读全文

posted @ 2016-10-12 09:50 李玉龙 阅读(2023) 评论(0) 推荐(1)

导航