摘要：
大数据运算模型 MapReduce 原理 2016-01-24 杜亦舒 MapReduce 是一个大数据集合的并行运算模型，由google提出，现在流行的hadoop中也使用了MapReduce作为计算模型 MapReduce 通俗解释 图书馆要清点图书数量，有10个书架，管理员为了加快统计速度，找 阅读全文
posted @ 2017-01-07 22:43
xuebusi
阅读(578)
评论(0)
推荐(0)
摘要：
分布式消息队列 Kafka 2016-02-25 杜亦舒 Kafka是一个高吞吐量的、分布式的消息系统，由Linkedin开发，开发语言为scala具有高吞吐、可扩展、分布式等特点 适用场景 活动数据统计活动数据包括页面访问量（Page View）、被查看内容方面的信息、搜索情况等内容先以日志的形式 阅读全文
posted @ 2017-01-07 22:41
xuebusi
阅读(241)
评论(0)
推荐(0)
摘要：
Kafka是如何实现高吞吐率的 原创 2016-02-27 杜亦舒 性能与架构 Kafka是分布式消息系统，需要处理海量的消息，Kafka的设计是把所有的消息都写入速度低容量大的硬盘，以此来换取更强的存储能力，但实际上，使用硬盘并没有带来过多的性能损失kafka主要使用了以下几个方式实现了超高的吞吐 阅读全文
posted @ 2017-01-07 22:40
xuebusi
阅读(642)
评论(0)
推荐(0)
摘要：
Kafka 高可用设计 2016-02-28 杜亦舒 Kafka在早期版本中，并不提供高可用机制，一旦某个Broker宕机，其上所有Partition都无法继续提供服务，甚至发生数据丢失对于分布式系统，当集群规模上升到一定程度后，宕机的可能性大大提高，对高可用性就有了非常高要求Kafka在0.8版本 阅读全文
posted @ 2017-01-07 22:36
xuebusi
阅读(1010)
评论(0)
推荐(0)
摘要：
Hadoop 集群搭建 2016-09-24 杜亦舒 目标 在3台服务器上搭建 Hadoop2.7.3 集群，然后测试验证，要能够向 HDFS 上传文件，并成功运行 mapreduce 示例程序 搭建思路 （1）准备基础设施准备3台服务器，分别命名为 master、slave1、slave2互相配置 阅读全文
posted @ 2017-01-07 22:28
xuebusi
阅读(341)
评论(0)
推荐(0)
摘要：
Docker部署Hadoop集群 Docker部署Hadoop集群 2016-09-27 杜亦舒 前几天写了文章“Hadoop 集群搭建”之后，一个朋友留言说希望介绍下如何使用Docker部署，这个建议很好，Docker不仅在生产环境威力巨大，对于我们在自己电脑中搭建学习实验环境更是非常便利 搭建一 阅读全文
posted @ 2017-01-07 22:27
xuebusi
阅读(662)
评论(0)
推荐(0)
摘要：
HBase 的表结构 HBase 的表结构 2016-10-13 杜亦舒 HBase 是一个NoSQL数据库，用于处理海量数据，可以支持10亿行百万列的大表，下面就了解一下数据是如何存放在HBase表中的 关系型数据库的表结构 关系型数据库的表结构 为了更好的理解HBase表的思路，先回顾一下关系数 阅读全文
posted @ 2017-01-07 22:26
xuebusi
阅读(23178)
评论(0)
推荐(8)
摘要：
HBase 数据读写流程 2016-10-18 杜亦舒 读数据 HBase的表是按行拆分为一个个 region 块儿，这些块儿被放置在各个 regionserver 中 假设现在想在用户表中获取 row key 为 row0001 的用户信息 要想取得这条数据，就需要先找到含有此条记录的 regio 阅读全文
posted @ 2017-01-07 22:23
xuebusi
阅读(2496)
评论(0)
推荐(1)
摘要：
HBase 的存储结构 2016-10-17 杜亦舒 HBase 中的表常常是超级大表，这么大的表，在 HBase 中是如何存储的呢？HBase 会对表按行进行切分，划分为多个区域块儿，每个块儿名为 HRegionHBase 是集群结构，会把这些块儿分散存储到多个服务器中，每个服务器名为HRegio 阅读全文
posted @ 2017-01-07 22:23
xuebusi
阅读(1111)
评论(0)
推荐(0)
摘要：
Phoenix - Hbase与SQL 2016-10-23 杜亦舒 Phoenix是什么 简单来说，Phoenix 是一个可以让我们通过SQL的方式操作HBase数据库的框架。 HBase是一个NoSQL数据库，shell客户端只支持一些简单的操作，而且看起来容易晕。 例如下面这个图，返回的是一张 阅读全文
posted @ 2017-01-07 22:22
xuebusi
阅读(537)
评论(0)
推荐(0)
浙公网安备 33010602011771号