摘要： topic中partition存储分布 Topic在逻辑上可以被认为是一个queue。每条消费都必须指定它的topic，可以简单理解为必须指明把这条消息放进哪个queue里。为了使得 Kafka的吞吐率可以水平扩展，物理上把topic分成一个或多个partition，每个partition在物理上对 阅读全文

摘要： time介绍 在开始之前，首先要说明这几点： 1.在Python中，通常有这几种方式来表示时间：1）时间戳 2）格式化的时间字符串 3）元组（struct_time）共九个元素。由于Python的time模块实现主要调用C库，所以各个平台可能有所不同。2.UTC（Coordinated Univer 阅读全文

摘要： 什么是socket 网络上的两个程序通过一个双向的通信连接实现数据的交换，这个连接的一端称为一个socket。socket通常也称作"套接字"，用于描述IP地址和端口，是一个通信链的句柄，可以用来实现不同虚拟机或不同计算机之间的通信。在Internet上的主机一般运行了多个服务软件，同时提供几种服务 阅读全文

摘要： 异常处理的作用 在编程过程中为了增加友好性，在程序出现bug时一般不会将错误信息显示给用户，而是现实一个提示的页面，通俗来说就是不让用户看见大黄页！（这里的大黄页通常是写代码是用户访问网页，如果出现错误之后返回的一个黄色的报错页面通常称为：大黄页） 例子： 拿咱们刚开始学的时候遇到的问题来举例： 未 阅读全文

摘要： 面向对象总结 面向对象是一种编程方式，此编程方式的实现是基于对 类 和 对象 的使用 类 是一个模板，模板中包装了多个“函数”供使用（可以讲多函数中公用的变量封装到对象中） 对象，根据模板创建的实例（即：对象），实例用于调用被包装在类中的函数 面向对象三大特性：封装、继承和多态 本篇将详细介绍Pyt 阅读全文

摘要： 1.使用第三方库 python中处理excel表格，常用的库有xlrd（读excel）表、xlwt（写excel）表、openpyxl（可读写excel表）等。 xlrd读数据较大的excel表时效率高于openpyxl，所以我在写脚本时就采用了xlrd和xlwt这两个库。介绍及下载地址为：http 阅读全文

摘要： python访问hive2 HiveServer2为客户端在远程执行hive查询提供了接口，通过Thrift RPC来实现，还提供了多用户并发和认证功能。目前使用python的用户可以通过pyhs2这个模块来连接HiveServer2，实现查询和取回结果的操作。 1.安装pyhs2 yum inst 阅读全文

摘要： kafka集群搭建 下面简单的介绍一下kafka的集群搭建，单个kafka的安装更简单，下面以集群搭建为例子。 我们设置并部署有三个节点的 kafka 集合体，必须在每个节点上遵循下面的步骤来启动 kafka 服务器，kafka集群需要依赖zookeeper集群，上一篇已经说道了zookeeper的 阅读全文

摘要： zookeeper概念 ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，它包含一个简单的原语集，分布式应用程序可以基于它实现同步服务，配置维护和命名 服务等。Zookeeper是hadoop的一个子项目，其发展历程无需赘述。在分布式应用中，由于工程师不能很好地使用锁机制，以及基于 阅读全文

摘要： 概念和术语 消息，全称为Message，是指在生产者、服务端和消费者之间传输数据。 消息代理：全称为Message Broker，通俗来讲就是指该MQ的服务端或者说服务器。 消息生产者：全称为Message Producer，负责产生消息并发送消息到meta服务器。 消息消费者：全称为Message 阅读全文