12 2017 档案

RVM 安装 Ruby
摘要：RVM 是一个命令行工具，可以提供一个便捷的多版本 Ruby 环境的管理和切换。 https://rvm.io/ 如果你打算学习 Ruby / Rails, RVM 是必不可少的工具之一。 这里所有的命令都是再用户权限下操作的，任何命令最好都不要用 sudo. RVM 安装 修改 RVM 的 Rub 阅读全文
posted @ 2017-12-21 17:26 大数据从业者FelixZh 阅读(3558) 评论(0) 推荐(0)
Fluentd初探 简介与安装
摘要：Fluentd是一个开源的数据收集器，专为处理数据流设计，有点像 syslogd ，但是使用JSON作为数据格式。它采用了插件式的架构，具有高可扩展性高可用性，同时还实现了高可靠的信息转发。 据分(Y)析(Y)，Fluentd是由Fluent+d得来，d生动形象地标明了它是以一个守护进程的方式运行。 阅读全文
posted @ 2017-12-20 18:51 大数据从业者FelixZh 阅读(1718) 评论(0) 推荐(0)
Flunetd 用于统一日志记录层的开源数据收集器
摘要：传统的日志查看方式 使用fluentd之后 一、介绍 Fluentd是一个开源的数据收集器，可以统一对数据收集和消费，以便更好地使用和理解数据。几大特色：使用JSON统一记录 简单灵活可插拔架构 最小的资源需求 内置可靠性 Fluentd尽可能地将数据结构转化为JSON格式，这样可以使Fluentd 阅读全文
posted @ 2017-12-20 17:31 大数据从业者FelixZh 阅读(980) 评论(0) 推荐(0)
Custom partition assignment and migration kafka集群扩充迁移指定partition
摘要：The partition reassignment tool can also be used to selectively move replicas of a partition to a specific set of brokers. When used in this manner, i 阅读全文
posted @ 2017-12-14 17:24 大数据从业者FelixZh 阅读(439) 评论(0) 推荐(0)
Automatically migrating data to new machines kafka集群扩充迁移topic
摘要：The partition reassignment tool can be used to move some topics off of the current set of brokers to the newly added brokers. This is typically useful 阅读全文
posted @ 2017-12-14 17:20 大数据从业者FelixZh 阅读(329) 评论(0) 推荐(0)
Kafka consumer group位移0ffset重设
摘要：本文阐述如何使用Kafka自带的kafka-consumer-groups.sh脚本随意设置消费者组(consumer group)的位移。需要特别强调的是， 这是0.11.0.0版本提供的新功能且只适用于新版本consumer。 在新版本之前，如果要为已有的consumer group调整位移必须 阅读全文
posted @ 2017-12-12 15:39 大数据从业者FelixZh 阅读(6184) 评论(0) 推荐(0)
kafka如何创建topic？
摘要：kafka如何创建topic？ Kafka创建topic命令很简单，一条命令足矣： bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 3 --partitions 3 --topic test 这 阅读全文
posted @ 2017-12-12 14:44 大数据从业者FelixZh 阅读(2789) 评论(0) 推荐(0)
Kafka无消息丢失配置
摘要：Kafka无消息丢失配置 Kafka到底会不会丢数据(data loss)? 网上各种说法都有，在回答这个问题之前， 我们要明确“责任边界”。所谓责任边界就是要确定消息在生产和消费的完整流程中是由谁来负责，确保它不会丢失。这样即使真的出现了消息丢失，也能明确是责任主体，有针对性地进行改进和调整。 个 阅读全文
posted @ 2017-12-12 14:23 大数据从业者FelixZh 阅读(1849) 评论(0) 推荐(0)
Kafka如何删除topic？
摘要：Kafka如何删除topic？ 今天为大家带来“Kafka删除topic原理解析”，希望可以帮到那些苦于无法删除topic的朋友们。 前提条件： 在启动broker时候开启删除topic的开关，即在server.properties中添加： delete.topic.enable=true 命令：  阅读全文
posted @ 2017-12-12 13:45 大数据从业者FelixZh 阅读(1457) 评论(0) 推荐(0)
Kafka 0.11新功能介绍：空消费组延迟rebalance
摘要：Kafka 0.11新功能介绍：空消费组延迟rebalance 在0.11之前的版本中，多个consumer实例加入到一个空消费组将导致多次的rebalance，这是由于每个consumer instance启动的时间不可控，很有可能超出coordinator确定的rebalance timeout 阅读全文
posted @ 2017-12-12 13:33 大数据从业者FelixZh 阅读(1321) 评论(0) 推荐(0)
Apache Curator is a Java/JVM client library for Apache ZooKeeper
摘要：http://curator.apache.org/index.html Welcome to Apache Curator Welcome to Apache Curator What is Curator? What is Curator? Curator n ˈkyoor͝ˌātər: a k 阅读全文
posted @ 2017-12-12 10:35 大数据从业者FelixZh 阅读(369) 评论(0) 推荐(0)
Linux：自动删除n天前日志
摘要：linux是一个很能自动产生文件的系统，日志、邮件、备份等。虽然现在硬盘廉价，我们可以有很多硬盘空间供这些文件浪费，让系统定时清理一些不需要的文件很有一种爽快的事情。不用你去每天惦记着是否需要清理日志，不用每天收到硬盘空间不足的报警短信，想好好休息的话，让我们把这个事情交给机器定时去执行吧。 1.删 阅读全文
posted @ 2017-12-07 17:14 大数据从业者FelixZh 阅读(4145) 评论(0) 推荐(1)
TIPS FOR IMPROVING PERFORMANCE OF KAFKA PRODUCER
摘要：When we are talking about performance of Kafka Producer, we are really talking about two different things: latency: how much time passes from the time 阅读全文
posted @ 2017-12-06 18:57 大数据从业者FelixZh 阅读(572) 评论(0) 推荐(0)

大数据从业者