●数据传输 - 随笔分类 - 程序优化

kafka彻底删除topic

摘要：今天发现一个线上kafka(版本为0.8.2.2)多天前已不再消费的topic标记为删除(marked for deletion)，而我们每天有定时删除topic的shell脚本，会把无用的topic干掉，但发现这些topic只是被标记为删除，而并没有真正删除，其... 阅读全文

posted @ 2017-03-20 15:09 程序优化阅读(386) 评论(0) 推荐(0)

摘要：如何为Kafka集群选择合适的Partitions数量Hadoop技术博文这是许多kafka使用者经常会问到的一个问题。本文的目的是介绍与本问题相关的一些重要决策因素，并提供一些简单的计算公式。文章目录1 越多的分区可以提供更高的吞吐量2 越多的分区需要打开更多地... 阅读全文

posted @ 2016-09-18 10:12 程序优化阅读(466) 评论(0) 推荐(0)

摘要：在kafka.out日志里出现大量ERROR [ReplicaFetcherThread-0-1], Error for partition [FLAG_DATA_SYC,1] to broker 1:class kafka.common.UnknownTopicOr... 阅读全文

posted @ 2016-01-06 16:25 程序优化阅读(3345) 评论(0) 推荐(0)

摘要：原文见:http://kafka.apache.org/documentation.html#semanticskafka在生产者和消费者之间的传输是如何保证的，我们可以知道有这么几种可能提供的delivery guarantee：At most once 消息可能会... 阅读全文

posted @ 2015-12-15 07:52 程序优化阅读(538) 评论(0) 推荐(0)

摘要：kafka.common.ConsumerRebalanceFailedException: group_dd-1446432618163-2746a209 can't rebalance after 10 retries at kafka.consumer.Zoo... 阅读全文

posted @ 2015-11-02 08:47 程序优化阅读(1713) 评论(0) 推荐(0)

Kafka配置文档

摘要：http://kafka.apache.org/08/configuration.html 阅读全文

posted @ 2015-07-22 18:29 程序优化阅读(102) 评论(0) 推荐(0)

Kafka Tools

摘要：参考，https://cwiki.apache.org/confluence/display/KAFKA/System+Toolshttps://cwiki.apache.org/confluence/display/KAFKA/Replication+toolsht... 阅读全文

posted @ 2015-07-22 18:23 程序优化阅读(692) 评论(0) 推荐(0)

Kafka深度解析

摘要：Kafka深度解析By Jason Guo 2015-01-02 Updated:2015-05-31 Contents1.背景介绍1.1.Kafka简介1.2.为什么要用消息系统1.3.常用Message Queue对比2.Kafka解析2.1.Terminolog... 阅读全文

posted @ 2015-07-14 18:54 程序优化阅读(185) 评论(0) 推荐(0)

摘要：原文链接：https://blogs.apache.org/flume/entry/apache_flume_filechannel说明：翻译在尽量符合原文表达的基础上，尽量保证行文流畅。水平有限，请多指正！这篇文章是关于Flume FileChannel的。Flum... 阅读全文

posted @ 2014-02-10 18:50 程序优化阅读(364) 评论(0) 推荐(0)

DolphinScheduler(海豚调度)