摘要: 不知道为什么,被管理员移出了首页,看来管理员觉得我的字太少了,或者觉得我有打广告的嫌疑,不过这些网址全是干货,有很多我觉得非常珍贵,不是你随便就可以找到的,是我几年保存的,写代码可能随手就用,需要的保存欧。顺便也吐槽一下发布博客园首页的规则,完全靠手工审核,真的觉得有些问题,前段时间也看到有小伙伴在... 阅读全文
posted @ 2014-07-20 21:33 TheBug 阅读(1704) 评论(8) 推荐(3) 编辑
摘要: hadoop 1.0 mapreduce过程主要问题:JobTracker 是 Map-reduce 的集中处理点,存在单点故障。JobTracker 完成了太多的任务,造成了过多的资源消耗,当 map-reduce job 非常多的时候,会造成很大的内存开销,潜在来说,也增加了 JobTracke... 阅读全文
posted @ 2014-06-16 11:10 TheBug 阅读(1334) 评论(0) 推荐(0) 编辑
摘要: redis的一些介绍,麻烦阅读前面的几篇文章,想对redis的详细实现有所了解,强力推荐《redis设计与实现》(不仅仅从作者那儿学习到redis的实现,还有项目的管理、思想等,作者可能比你我都年轻欧)。如果阅读了上面的文档,激起你对redis的强力好奇,那么就只能阅读源码了。不管是在校学生,还是已... 阅读全文
posted @ 2014-06-02 22:28 TheBug 阅读(4619) 评论(1) 推荐(1) 编辑
摘要: 15k-30k 深圳 经验3-5年 本科及以上 全职职位诱惑 : 福利还行,待遇还不错,行业内中上吧职位描述自研分布式实时计算集群研发和运营工作。主要用到 linux c/c++有分布式系统开发相关经验的优先有意者简历发到jacksu@tencent.com 阅读全文
posted @ 2014-05-20 14:43 TheBug 阅读(805) 评论(0) 推荐(0) 编辑
摘要: 拥塞控制过程数据吞吐量TCP窗口大小,窗口流量控制,慢启动对TCP的成块数据传输综合作用,可能对TCP的数据传输有意想不到的影响。RTT(Round-Trip Time) :往返时间。是指一个报文段从发出去到收到此报文段的ACK所经历的时间。通常一个报文段的RTT与传播时延和发送时延两个因素相关。在... 阅读全文
posted @ 2014-05-15 17:41 TheBug 阅读(3622) 评论(1) 推荐(1) 编辑
摘要: 1 取最新N个数据的操作比如典型的取你网站的最新文章,通过下面方式,我们可以将最新的5000条评论的ID放在Redis的List集合中,并将超出集合部分从数据库获取1)使用LPUSH latest.comments命令,向list集合中插入数据插入完成后再用LTRIM latest.comments... 阅读全文
posted @ 2014-04-30 22:10 TheBug 阅读(702) 评论(0) 推荐(2) 编辑
摘要: 一、简介REmoteDIctionaryServer(Redis),redis是一个基于内存的单机key/value系统,类似memcached,但支持value为多种形式,包括:字符串(string)、链表(list)、集合(set)、有序集合(sortedset)和hashtable二、特点1优... 阅读全文
posted @ 2014-04-29 19:20 TheBug 阅读(1290) 评论(0) 推荐(1) 编辑
摘要: redis资源比较零散,引用nosqlfan上的文章,方便大家需要时翻阅。大家看完所有的,如果整理出文章的,麻烦知会一下,方便学习。1.Redis是什么?十五分钟介绍 Redis数据结构Redis系统性介绍一个很棒的Redis介绍PPT强烈推荐!非同一般的Redis介绍Redis之七种武器锋利的Re... 阅读全文
posted @ 2014-04-28 20:49 TheBug 阅读(2083) 评论(2) 推荐(7) 编辑
摘要: Nosql,作为程序员在当下不了解点儿,还真不行,出去聊起来别人就会说你土。那么就聊聊其中一个比较火的redis。redis单机版没得说,但是一直没有集群版,有也是山寨的。前段时间对redis的实现进行了一些学习,明天就要发布redis集群的稳定版,作为纪念以及学习,发一下redis集群实现的细节,英文好的就看原文吧。redis集群实现一个高性能、线性可扩展的1000节点的集群。Redis集群没有最重要或者说中心节点,这个版本最主要的一个目标是设计一个线性可伸缩(可随意增删节点?)的功能。Redis集群没有任何的数据合并动作。写,直接是与主节点通信,但同步到slave也有一个时间窗口。在可用性 阅读全文
posted @ 2014-04-10 22:19 TheBug 阅读(9201) 评论(2) 推荐(5) 编辑
摘要: Hbase:全名HadoopDataBase,是一种开源的,可伸缩的,严格一致性(并非最终一致性)的分布式存储系统。具有最理想化的写和极好的读性能。它支持可插拔的压缩算法(用户可以根据其列族中的数据特性合理选择其压缩算法),充分利用了磁盘空间。类似于Google的BigTable,其分布式计算采用MapReduce,通过MapReduce完成大块的数据加载和全表扫描操作等。文件存储系统采用HDFS,通过Zookeeper来完成状态管理协同服务。不过BigTable只支持一级索引,Hbase不仅支持一级索引,还支持二级索引。需要指出的是:很多人都认为Hbase是面向列的数据库,其实不是。从典型的 阅读全文
posted @ 2014-03-31 19:34 TheBug 阅读(779) 评论(0) 推荐(0) 编辑