摘要： 现在网上关于ZooKeeper的文章很多，有介绍Leader选举算法的，有介绍ZooKeeper Server内部原理的，还有介绍ZooKeeper Client的。本文不打算再写类似的内容，而专注与解答读者对ZooKeeper的相关疑问。ZOOKEEPER在客户端究竟做了什么事情使用过ZooKee... 阅读全文

摘要： Curator是Netflix开源的一套ZooKeeper客户端框架. Netflix在使用ZooKeeper的过程中发现ZooKeeper自带的客户端太底层, 应用方在使用的时候需要自己处理很多事情, 于是在它的基础上包装了一下, 提供了一套更好用的客户端框架. Netflix在用ZooKeepe... 阅读全文

摘要： 前言: kafka是一个轻量级的/分布式的/具备replication能力的日志采集组件,通常被集成到应用系统中,收集"用户行为日志"等,并可以使用各种消费终端(consumer)将消息转存到HDFS等其他结构化数据存储系统中.因为日志消息通常为文本数据,尺寸较小,且对实时性以及数据可靠性要求不严格... 阅读全文

摘要： lsof -Pnl +M -i4 输入该命令来查看IPv4端口sudo /etc/init.d/networking restart ubuntu下网络服务重启 阅读全文

摘要： 安装和配置详解本文介绍的 Zookeeper 是以 3.2.2 这个稳定版本为基础，最新的版本可以通过官网http://hadoop.apache.org/zookeeper/来获取，Zookeeper 的安装非常简单，下面将从单机模式和集群模式两个方面介绍 Zookeeper 的安装和配置。单机模... 阅读全文

摘要： ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，它包含一个简单的原语集，分布式应用程序可以基于它实现同步服务，配置维护和命名服务等。Zookeeper是hadoop的一个子项目，其发展历程无需赘述。在分布式应用中，由于工程师不能很好地使用锁机制，以及基于消息的协调机制不适合在某些... 阅读全文

摘要： Apache与Nginx的优缺点比较1、nginx相对于apache的优点：轻量级，同样起web 服务，比apache 占用更少的内存及资源抗并发，nginx 处理请求是异步非阻塞的，而apache 则是阻塞型的，在高并发下nginx 能保持低资源低消耗高性能高度模块化的设计，编写模块相对简单社区活... 阅读全文

摘要： 1、基本知识 epoll是在2.6内核中提出的，是之前的select和poll的增强版本。相对于select和poll来说，epoll更加灵活，没有描述符限制。epoll使用一个文件描述符管理多个描述符，将用户关系的文件描述符的事件存放到内核的一个事件表中，这样在用户空间和内核空间的copy只需一... 阅读全文

摘要： 1.背景最近因为工作需要，调研了追求高吞吐的轻量级消息系统Kafka，打算替换掉线上运行的ActiveMQ，主要是因为明年的预算日流量有十亿，而ActiveMQ的分布式实现的很奇怪，所以希望找一个适合分布式的消息系统。以下是内容是调研过程中总结的一些知识和经验，欢迎拍砖。2.基础知识2.1.什么是消... 阅读全文

摘要： 在基于Hadoop平台的很多应用场景中，我们需要对数据进行离线和实时分析，离线分析可以很容易地借助于Hive来实现统计分析，但是对于实时的需求Hive就不合适了。实时应用场景可以使用Storm，它是一个实时处理系统，它为实时处理类应用提供了一个计算模型，可以很容易地进行编程处理。为了统一离线和实时计... 阅读全文