jacksu|关注大数据技术

摘要： 不知道为什么，被管理员移出了首页，看来管理员觉得我的字太少了，或者觉得我有打广告的嫌疑，不过这些网址全是干货，有很多我觉得非常珍贵，不是你随便就可以找到的，是我几年保存的，写代码可能随手就用，需要的保存欧。顺便也吐槽一下发布博客园首页的规则，完全靠手工审核，真的觉得有些问题，前段时间也看到有小伙伴在... 阅读全文

摘要： hadoop 1.0 mapreduce过程主要问题：JobTracker 是 Map-reduce 的集中处理点，存在单点故障。JobTracker 完成了太多的任务，造成了过多的资源消耗，当 map-reduce job 非常多的时候，会造成很大的内存开销，潜在来说，也增加了 JobTracke... 阅读全文

摘要： redis的一些介绍，麻烦阅读前面的几篇文章，想对redis的详细实现有所了解，强力推荐《redis设计与实现》（不仅仅从作者那儿学习到redis的实现，还有项目的管理、思想等，作者可能比你我都年轻欧）。如果阅读了上面的文档，激起你对redis的强力好奇，那么就只能阅读源码了。不管是在校学生，还是已... 阅读全文

摘要： 15k-30k 深圳 经验3-5年 本科及以上 全职职位诱惑 : 福利还行，待遇还不错，行业内中上吧职位描述自研分布式实时计算集群研发和运营工作。主要用到 linux c/c++有分布式系统开发相关经验的优先有意者简历发到jacksu@tencent.com 阅读全文

摘要： 拥塞控制过程数据吞吐量TCP窗口大小，窗口流量控制，慢启动对TCP的成块数据传输综合作用，可能对TCP的数据传输有意想不到的影响。RTT（Round-Trip Time） ：往返时间。是指一个报文段从发出去到收到此报文段的ACK所经历的时间。通常一个报文段的RTT与传播时延和发送时延两个因素相关。在... 阅读全文

摘要： 1 取最新N个数据的操作比如典型的取你网站的最新文章，通过下面方式，我们可以将最新的5000条评论的ID放在Redis的List集合中，并将超出集合部分从数据库获取1）使用LPUSH latest.comments命令，向list集合中插入数据插入完成后再用LTRIM latest.comments... 阅读全文

摘要： 一、简介REmoteDIctionaryServer(Redis)，redis是一个基于内存的单机key/value系统，类似memcached，但支持value为多种形式，包括：字符串(string)、链表(list)、集合(set)、有序集合(sortedset)和hashtable二、特点1优... 阅读全文

摘要： redis资源比较零散，引用nosqlfan上的文章，方便大家需要时翻阅。大家看完所有的，如果整理出文章的，麻烦知会一下，方便学习。1.Redis是什么？十五分钟介绍 Redis数据结构Redis系统性介绍一个很棒的Redis介绍PPT强烈推荐！非同一般的Redis介绍Redis之七种武器锋利的Re... 阅读全文

摘要： Nosql，作为程序员在当下不了解点儿，还真不行，出去聊起来别人就会说你土。那么就聊聊其中一个比较火的redis。redis单机版没得说，但是一直没有集群版，有也是山寨的。前段时间对redis的实现进行了一些学习，明天就要发布redis集群的稳定版，作为纪念以及学习，发一下redis集群实现的细节，英文好的就看原文吧。redis集群实现一个高性能、线性可扩展的1000节点的集群。Redis集群没有最重要或者说中心节点，这个版本最主要的一个目标是设计一个线性可伸缩（可随意增删节点？）的功能。Redis集群没有任何的数据合并动作。写，直接是与主节点通信，但同步到slave也有一个时间窗口。在可用性 阅读全文

摘要： Hbase：全名HadoopDataBase，是一种开源的，可伸缩的，严格一致性（并非最终一致性）的分布式存储系统。具有最理想化的写和极好的读性能。它支持可插拔的压缩算法（用户可以根据其列族中的数据特性合理选择其压缩算法），充分利用了磁盘空间。类似于Google的BigTable，其分布式计算采用MapReduce，通过MapReduce完成大块的数据加载和全表扫描操作等。文件存储系统采用HDFS，通过Zookeeper来完成状态管理协同服务。不过BigTable只支持一级索引，Hbase不仅支持一级索引，还支持二级索引。需要指出的是：很多人都认为Hbase是面向列的数据库，其实不是。从典型的 阅读全文