共 13 页: 上一页 1 2 3 4 5 6 下一页 末页
摘要:1.概述 在分布式实时数据流场景下,随着数据量的增长,对Kafka集群的性能和稳定性的要求也很高。本篇博客将从生产者和消费者两方面来做性能测试,针对具体的业务和数据量,来调优Kafka集群。 2.内容 2.1 测试环境 本次测试的环境信息由三台物理机组成,具体信息如下所示: 2.2 测试工具 Kaf 阅读全文
posted @ 2018-12-09 22:37 哥不是小萝莉 阅读 (2343) 评论 (0) 编辑
摘要:1.概述 对于数据的转发,Kafka是一个不错的选择。Kafka能够装载数据到消息队列,然后等待其他业务场景去消费这些数据,Kafka的应用接口API非常的丰富,支持各种存储介质,例如HDFS、HBase等。如果不想使用Kafka API编写代码去消费Kafka Topic,也是有组件可以去集成消费 阅读全文
posted @ 2018-11-19 17:12 哥不是小萝莉 阅读 (5354) 评论 (0) 编辑
摘要:1.为什么写这本书? 我建立了一个qq群,有很多人在群里面学习和交流,经常有人问我一些Kafka的知识,我可以感受他们对技术的热情,这是一群刚走出校门,或者工作经验较少,又或是一些转型的开发新人,他们希望通过自学提高自己的开发能力,但是又没有学习渠道和正确的方法,于是我写了这本书。 2.开始写作 2 阅读全文
posted @ 2018-11-10 17:25 哥不是小萝莉 阅读 (1814) 评论 (4) 编辑
摘要:1.概述 平时在使用Kafka的时候,可能关注的更多的是Kafka系统层面的。今天来给大家剖析一下Kafka的控制器,了解一下Kafka控制器的选举流程。 2.内容 Kafka控制器,其实就是一个Kafka系统的Broker。它除了具有一般Broker的功能之外,还具有选举主题分区Leader节点的 阅读全文
posted @ 2018-10-21 21:15 哥不是小萝莉 阅读 (1537) 评论 (3) 编辑
摘要:1.概述 HBase中表的基本单位是Region,日常在调用HBase API操作一个表时,交互的数据也会以Region的形式进行呈现。一个表可以有若干个Region,今天笔者就来和大家分享一下Region合并的一些问题和解决方法。 2.内容 在分析合并Region之前,我们先来了解一下Region 阅读全文
posted @ 2018-09-15 00:59 哥不是小萝莉 阅读 (3577) 评论 (0) 编辑
摘要:1.概述 在进行数据传输中,批量加载数据到HBase集群有多种方式,比如通过HBase API进行批量写入数据、使用Sqoop工具批量导数到HBase集群、使用MapReduce批量导入等。这些方式,在导入数据的过程中,如果数据量过大,可能耗时会比较严重或者占用HBase集群资源较多(如磁盘IO、H 阅读全文
posted @ 2018-08-19 17:29 哥不是小萝莉 阅读 (10646) 评论 (0) 编辑
摘要:1.概述 在《HBase查询优化》一文中,介绍了基于HBase层面的读取优化。由于HBase的实际数据是以HFile的形式,存储在HDFS上。那么,HDFS层面也有它自己的优化点,即:Short-Circuit Local Reads。本篇博客笔者将从HDFS层面来进行优化,从而间接的提升HBase 阅读全文
posted @ 2018-08-12 13:45 哥不是小萝莉 阅读 (1477) 评论 (0) 编辑
摘要:1.概述 HBase是一个实时的非关系型数据库,用来存储海量数据。但是,在实际使用场景中,在使用HBase API查询HBase中的数据时,有时会发现数据查询会很慢。本篇博客将从客户端优化和服务端优化两个方面来介绍,如何提高查询HBase的效率。 2.内容 这里,我们先给大家介绍如何从客户端优化查询 阅读全文
posted @ 2018-08-05 13:54 哥不是小萝莉 阅读 (5783) 评论 (1) 编辑
摘要:1.概述 最近有同学留言反馈了使用Kafka监控工具Kafka Eagle的一些问题,这里笔者特意整理了这些问题。并且希望通过这篇博客来解答这些同学的在使用Kafka Eagle的时候遇到的一些困惑,同时也给出一些定位分析Kafka Eagle异常的时的解决办法。 2.内容 2.1 背景 在使用Ka 阅读全文
posted @ 2018-07-27 01:02 哥不是小萝莉 阅读 (9766) 评论 (3) 编辑
摘要:1.概述 在分布式系统中,负载均衡是一个非常重要的功能,在HBase中通过Region的数量来实现负载均衡,HBase中可以通过hbase.master.loadbalancer.class来实现自定义负载均衡算法。下面将为大家剖析HBase负载均衡的相关内容以及性能指标。 2.内容 在HBase系 阅读全文
posted @ 2018-07-01 04:10 哥不是小萝莉 阅读 (2669) 评论 (2) 编辑
共 13 页: 上一页 1 2 3 4 5 6 下一页 末页