摘要：
Apache Kafka is optimized for small messages. According to benchmarks, the best performance occurs with 1 KB messages. Larger messages (for example, 1 阅读全文
posted @ 2018-05-25 16:53
大数据从业者FelixZh
阅读(575)
评论(0)
推荐(0)
摘要：
To achieve high availability and consistency targets, adjust the following parameters to meet your requirements: Replication Factor Preferred Leader E 阅读全文
posted @ 2018-05-25 16:52
大数据从业者FelixZh
阅读(413)
评论(0)
推荐(0)
摘要：
This topic describes additional steps you can take to ensure the safety and integrity of your data stored in Apache Kafka, with features available in 阅读全文
posted @ 2018-05-25 16:50
大数据从业者FelixZh
阅读(814)
评论(0)
推荐(0)
摘要：
I wrote a blog post about how LinkedIn uses Apache Kafka as a central publish-subscribe log for integrating data between applications, stream processi 阅读全文
posted @ 2018-05-25 16:33
大数据从业者FelixZh
阅读(588)
评论(0)
推荐(0)
摘要：
如果某个broker挂了，leader副本在该broker上的分区就要重新进行leader选举。来简要描述下leader选举的过程 1.4.1 KafkaController会监听ZooKeeper的/brokers/ids节点路径，一旦发现有broker挂了，执行下面的逻辑。这里暂时先不考虑Kaf 阅读全文
posted @ 2018-05-25 16:02
大数据从业者FelixZh
阅读(2165)
评论(1)
推荐(0)
摘要：
消费端出现offset重置为latest, earliest现象，类似log： 原因：该consumer消费的topic的leader和followers的状态不一致时，发生leader切换，会发生offset out of range，此时consumer进行消费时发现offset非法，会进行of 阅读全文
posted @ 2018-05-25 15:20
大数据从业者FelixZh
阅读(3877)
评论(0)
推荐(0)
摘要：
MapReduce简介 在Hadoop MapReduce中，框架会确保reduce收到的输入数据是根据key排序过的。数据从Mapper输出到Reducer接收，是一个很复杂的过程，框架处理了所有问题，并提供了很多配置项及扩展点。一个MapReduce的大致数据流如下图： 更详细的MapReduc 阅读全文
posted @ 2018-05-25 15:03
大数据从业者FelixZh
阅读(1083)
评论(0)
推荐(1)
摘要：
Cloudera recently announced formal support for Apache Kafka. This simple use case illustrates how to make web log analysis, powered in part by Kafka, 阅读全文
posted @ 2018-05-25 14:32
大数据从业者FelixZh
阅读(510)
评论(0)
推荐(0)
摘要：
The new integration between Flume and Kafka offers sub-second-latency event processing without the need for dedicated infrastructure. In this previous 阅读全文
posted @ 2018-05-25 14:26
大数据从业者FelixZh
阅读(691)
评论(0)
推荐(0)
摘要：
The versatility of Apache Spark’s API for both batch/ETL and streaming workloads brings the promise of lambda architecture to the real world. Few thin 阅读全文
posted @ 2018-05-25 14:17
大数据从业者FelixZh
阅读(385)
评论(0)
推荐(0)
摘要：
http://www.cnblogs.com/xuliangxing/p/7151812.html 本文对Redis的过期机制简单的讲解一下 讲解之前我们先抛出一个问题，我们知道很多时候服务器经常会用到redis作为缓存，有很多数据都是临时缓存一下，可能用过之后很久都不会再用到了（比如暂存sessi 阅读全文
posted @ 2018-05-25 09:15
大数据从业者FelixZh
阅读(2962)
评论(0)
推荐(0)
浙公网安备 33010602011771号