摘要：
现在网上关于ZooKeeper的文章很多，有介绍Leader选举算法的，有介绍ZooKeeper Server内部原理的，还有介绍ZooKeeper Client的。本文不打算再写类似的内容，而专注与解答读者对ZooKeeper的相关疑问。 ZOOKEEPER在客户端究竟做了什么事情 使用过ZooK
阅读全文
posted @ 2018-02-23 14:09
大数据从业者FelixZh
阅读(1208)
推荐(0)
摘要：
本文以ZooKeeper3.4.3版本的官方指南为基础：http://zookeeper.apache.org/doc/r3.4.3/zookeeperAdmin.html，补充一些作者运维实践中的要点，围绕ZK的部署和运维两个方面讲一些管理员需要知道的东西。本文并非一个ZK搭建的快速入门，关于这方
阅读全文
posted @ 2018-02-23 14:03
大数据从业者FelixZh
阅读(2079)
推荐(0)
摘要：
Zookeeper的大部分操作都是通过选举产生的。比如，标记一个写是否成功是要在超过一半节点发送写请求成功时才认为有效。同样，Zookeeper选择领导者节点也是在超过一半节点同意时才有效。最后，Zookeeper是否正常是要根据是否超过一半的节点正常才算正常。这是基于CAP的一致性原理。zooke
阅读全文
posted @ 2018-02-23 10:41
大数据从业者FelixZh
阅读(2929)
推荐(0)
摘要：
Short Description: The article talks about the basic health checks to be performed when working on issues related to slow zookeeper performance Short
阅读全文
posted @ 2018-02-22 15:54
大数据从业者FelixZh
阅读(726)
推荐(0)
摘要：
简单的 http 性能测试工具 wrk.git 一个简单的 http benchmark 工具, 能做很多基本的 http 性能测试. wrk 的一个很好的特性就是能用很少的线程压出很大的并发量. 原因是它使用了一些操作系统特定的高性能 io 机制, 比如 select, epoll, kqueue
阅读全文
posted @ 2018-02-01 19:27
大数据从业者FelixZh
阅读(14831)
推荐(0)
摘要：
Nginx除了以前常用的HTTP负载均衡外，Nginx增加基于TCP协议实现的负载均衡方法。 HTTP负载均衡，也就是我们通常所有“七层负载均衡”，工作在第七层“应用层”。而TCP负载均衡，就是我们通常所说的“四层负载均衡”，工作在“网络层”和“传输层”。例如，LVS（Linux Virtual S
阅读全文
posted @ 2018-01-29 14:31
大数据从业者FelixZh
阅读(23197)
推荐(1)
摘要：
Nginx 在1.9.0版本发布以前如果要想做到基于TCP的代理及负载均衡需要通过打名为 nginx_tcp_proxy_module 的第三方patch来实现，该模块的代码托管在github上网址：https://github.com/yaoweibin/nginx_tcp_proxy_modul
阅读全文
posted @ 2018-01-29 14:15
大数据从业者FelixZh
阅读(1282)
推荐(0)
摘要：
nginx tcp代理功能由nginx_tcp_proxy_module模块提供，同时监测后端主机状态。该模块包括的模块有： ngx_tcp_module, ngx_tcp_core_module, ngx_tcp_upstream_module, ngx_tcp_proxy_module, ngx
阅读全文
posted @ 2018-01-29 09:54
大数据从业者FelixZh
阅读(703)
推荐(0)
摘要：
对于TCP长连接保活是十分必要的，原因如下： 1、系统多在OA网和外网间有防火墙隔离，很多防火墙对一段时间内没有报文活动的socket会自动关闭。 2、对于非正常断开的连接系统并不能侦测到，比如防火墙关闭端口、网线被拔掉、电脑突然奔掉、未关闭应用程序直接关机(服务端无法释放资源)。 (调用close
阅读全文
posted @ 2018-01-26 19:07
大数据从业者FelixZh
阅读(2039)
推荐(0)
摘要：
fluent-logger-java is a Java library, to record events via Fluentd, from Java application. https://github.com/fluent/fluent-logger-java 使用该sdk过程发现，tcp
阅读全文
posted @ 2018-01-26 18:28
大数据从业者FelixZh
阅读(8297)
推荐(0)
摘要：
http://blog.csdn.net/Ctrl_qun/article/details/52518479 一、TCP数据报结构以及三次握手 TCP（Transmission Control Protocol，传输控制协议）是一种面向连接的、可靠的、基于字节流的通信协议，数据在传输前要建立连接，传
阅读全文
posted @ 2018-01-26 13:26
大数据从业者FelixZh
阅读(43601)
推荐(6)
摘要：
http://blog.csdn.net/imilli/article/details/50620104 TCP头部： 其中 ACK SYN 序号 这三个部分在以下会用到，它们的介绍也在下面。 暂时需要的信息有： ACK ： TCP协议规定，只有ACK=1时有效，也规定连接建立后所有发送的报文的AC
阅读全文
posted @ 2018-01-25 15:49
大数据从业者FelixZh
阅读(2014)
推荐(0)
摘要：
http://blog.csdn.net/shootyou/article/details/6622226 昨天解决了一个HttpClient调用错误导致的服务器异常，具体过程如下： http://blog.csdn.net/shootyou/article/details/6615051 里头的分
阅读全文
posted @ 2018-01-25 15:13
大数据从业者FelixZh
阅读(1638)
推荐(0)
摘要：
http://blog.sina.com.cn/s/blog_e59371cc0102ux5w.html 最近工作中遇到一个问题，想把它记录下来，场景是这样的： 从上图可以看出，用户通过Client访问的是LVS的VIP， VIP后端挂载的RealServer是Nginx服务器。 Client可以是
阅读全文
posted @ 2018-01-25 15:08
大数据从业者FelixZh
阅读(6917)
推荐(2)
摘要：
http://blog.csdn.net/wangjun5159/article/details/51510594 思考问题的顺序 学技术时，总是会问什么？这里也不例外，https为什么会存在，它有什么优点，又有什么缺点？为什么网站有的用http，有的用https？如果不能很好的回答，就往下看吧。
阅读全文
posted @ 2018-01-19 14:17
大数据从业者FelixZh
阅读(3163)
推荐(1)
摘要：
1. /usr/local/nginx/sbin/nginx -V 查看nginx版本与编译安装了哪些模块nginx version: nginx/1.10.3built by gcc 4.4.7 20120313 (Red Hat 4.4.7-18) (GCC)built with OpenSSL
阅读全文
posted @ 2018-01-19 13:43
大数据从业者FelixZh
阅读(1277)
推荐(0)
摘要：
[root@aa~]# This is ApacheBench, Version 2.3 <$Revision: 655654 $> Copyright 1996 Adam Twiss, Zeus Technology Ltd, http://www.zeustech.net/ Licensed t
阅读全文
posted @ 2018-01-16 11:01
大数据从业者FelixZh
阅读(10705)
推荐(1)
摘要：
引言： 互联网服务压测是非常重要的评价方法，ab，webbench，jmeter等都是业界流行的测试工具，ab和webbench作为shell模式下轻量级的测试工具，jmeter则作为有GUI界面的更高级测试工具，各有特点，ab比webbench功能更多一些，所以这里选择ab和jmeter来做一个对
阅读全文
posted @ 2018-01-16 11:00
大数据从业者FelixZh
阅读(2889)
推荐(1)
摘要：
一、回到上次操作的目录# cd -进入上次访问目录二、历史命令搜索操作快捷键：[Ctrl + r], [Ctrl + p], [Ctrl + n]在终端中按捉 [Ctrl] 键的同时 [r] 键，出现提示：(reverse-i-search), 此时你尝试一下输入你以前输入过的命令，当你每输入一个字
阅读全文
posted @ 2018-01-12 11:34
大数据从业者FelixZh
阅读(12244)
推荐(1)
摘要：
对于上传文件到hdfs上时，当时hadoop的副本系数是几，这个文件的块数副本数就会有几份，无论以后你怎么更改系统副本系统，这个文件的副本数都不会改变，也就说上传到分布式系统上的文件副本数由当时的系统副本数决定，不会受replication的更改而变化，除非用命令来更改文件的副本数。因为dfs.re
阅读全文
posted @ 2018-01-10 14:17
大数据从业者FelixZh
阅读(2701)
推荐(0)
摘要：
I was trying loading file using hadoop API as an experiment. I want to set replication to minimum as this one is for experiment. I first tried this wi
阅读全文
posted @ 2018-01-09 17:45
大数据从业者FelixZh
阅读(612)
推荐(0)
摘要：
RVM 是一个命令行工具，可以提供一个便捷的多版本 Ruby 环境的管理和切换。 https://rvm.io/ 如果你打算学习 Ruby / Rails, RVM 是必不可少的工具之一。 这里所有的命令都是再用户权限下操作的，任何命令最好都不要用 sudo. RVM 安装 修改 RVM 的 Rub
阅读全文
posted @ 2017-12-21 17:26
大数据从业者FelixZh
阅读(3553)
推荐(0)
摘要：
Fluentd是一个开源的数据收集器，专为处理数据流设计，有点像 syslogd ，但是使用JSON作为数据格式。它采用了插件式的架构，具有高可扩展性高可用性，同时还实现了高可靠的信息转发。 据分(Y)析(Y)，Fluentd是由Fluent+d得来，d生动形象地标明了它是以一个守护进程的方式运行。
阅读全文
posted @ 2017-12-20 18:51
大数据从业者FelixZh
阅读(1709)
推荐(0)
摘要：
传统的日志查看方式 使用fluentd之后 一、介绍 Fluentd是一个开源的数据收集器，可以统一对数据收集和消费，以便更好地使用和理解数据。几大特色：使用JSON统一记录 简单灵活可插拔架构 最小的资源需求 内置可靠性 Fluentd尽可能地将数据结构转化为JSON格式，这样可以使Fluentd
阅读全文
posted @ 2017-12-20 17:31
大数据从业者FelixZh
阅读(972)
推荐(0)
摘要：
The partition reassignment tool can also be used to selectively move replicas of a partition to a specific set of brokers. When used in this manner, i
阅读全文
posted @ 2017-12-14 17:24
大数据从业者FelixZh
阅读(434)
推荐(0)
摘要：
The partition reassignment tool can be used to move some topics off of the current set of brokers to the newly added brokers. This is typically useful
阅读全文
posted @ 2017-12-14 17:20
大数据从业者FelixZh
阅读(324)
推荐(0)
摘要：
本文阐述如何使用Kafka自带的kafka-consumer-groups.sh脚本随意设置消费者组(consumer group)的位移。需要特别强调的是， 这是0.11.0.0版本提供的新功能且只适用于新版本consumer。 在新版本之前，如果要为已有的consumer group调整位移必须
阅读全文
posted @ 2017-12-12 15:39
大数据从业者FelixZh
阅读(6167)
推荐(0)
摘要：
kafka如何创建topic？ Kafka创建topic命令很简单，一条命令足矣： bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 3 --partitions 3 --topic test 这
阅读全文
posted @ 2017-12-12 14:44
大数据从业者FelixZh
阅读(2773)
推荐(0)
摘要：
Kafka无消息丢失配置 Kafka到底会不会丢数据(data loss)? 网上各种说法都有，在回答这个问题之前， 我们要明确“责任边界”。所谓责任边界就是要确定消息在生产和消费的完整流程中是由谁来负责，确保它不会丢失。这样即使真的出现了消息丢失，也能明确是责任主体，有针对性地进行改进和调整。 个
阅读全文
posted @ 2017-12-12 14:23
大数据从业者FelixZh
阅读(1846)
推荐(0)
摘要：
Kafka如何删除topic？ 今天为大家带来“Kafka删除topic原理解析”，希望可以帮到那些苦于无法删除topic的朋友们。 前提条件： 在启动broker时候开启删除topic的开关，即在server.properties中添加： delete.topic.enable=true 命令：
阅读全文
posted @ 2017-12-12 13:45
大数据从业者FelixZh
阅读(1448)
推荐(0)
浙公网安备 33010602011771号