06 2016 档案

python-操作hive
摘要：python访问hive2 HiveServer2为客户端在远程执行hive查询提供了接口，通过Thrift RPC来实现，还提供了多用户并发和认证功能。目前使用python的用户可以通过pyhs2这个模块来连接HiveServer2，实现查询和取回结果的操作。 1.安装pyhs2 yum inst 阅读全文
posted @ 2016-06-30 09:16 楚时邀月 阅读(37892) 评论(1) 推荐(0)
kafka学习(三)-kafka集群搭建
摘要：kafka集群搭建 下面简单的介绍一下kafka的集群搭建，单个kafka的安装更简单，下面以集群搭建为例子。 我们设置并部署有三个节点的 kafka 集合体，必须在每个节点上遵循下面的步骤来启动 kafka 服务器，kafka集群需要依赖zookeeper集群，上一篇已经说道了zookeeper的 阅读全文
posted @ 2016-06-26 00:06 楚时邀月 阅读(906) 评论(0) 推荐(0)
kafka学习(二)-zookeeper集群搭建
摘要：zookeeper概念 ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，它包含一个简单的原语集，分布式应用程序可以基于它实现同步服务，配置维护和命名 服务等。Zookeeper是hadoop的一个子项目，其发展历程无需赘述。在分布式应用中，由于工程师不能很好地使用锁机制，以及基于 阅读全文
posted @ 2016-06-24 22:57 楚时邀月 阅读(542) 评论(0) 推荐(0)
kafka学习(一)-背景及架构设计
摘要：概念和术语 消息，全称为Message，是指在生产者、服务端和消费者之间传输数据。 消息代理：全称为Message Broker，通俗来讲就是指该MQ的服务端或者说服务器。 消息生产者：全称为Message Producer，负责产生消息并发送消息到meta服务器。 消息消费者：全称为Message 阅读全文
posted @ 2016-06-24 14:45 楚时邀月 阅读(944) 评论(0) 推荐(0)
python-聊聊反射
摘要：反射 对于初学python可能较难理解，但反射是非常有用。 试想一下，当别的程序传入给你写的这段代码一个变量(var=“math”)，这个变量是一个字符串，这个字符串是一个模块或者一个模块下的某个方法，你需要通过变量来导入此模块或者方法，如何导入此模块或方法呢，如果直接执行 import var是会 阅读全文
posted @ 2016-06-20 21:10 楚时邀月 阅读(483) 评论(0) 推荐(0)
python-logging模块详解
摘要：1.简单的将日志打印到屏幕 用于便捷记录日志且线程安全的模块 输出结果： 可见，默认情况下python的logging模块将日志打印到了标准输出中，且只显示了大于等于WARNING级别的日志，这说明默认的日志级别设置为WARNING（日志级别等级CRITICAL > ERROR > WARNING 阅读全文
posted @ 2016-06-17 11:38 楚时邀月 阅读(557) 评论(0) 推荐(0)
python-字符串格式化
摘要：字符串格式化 python的字符串格式有两种方式：百分号方式、format方式。 百分号的方式相对来说比较老，而format方式则是比较先进的方式，企图替换古老的方式，目前两者并存。 1.百分号方式 (name) 可选，用于选择指定的key flags 可选，可供选择的值有： + 右对齐；正数前加正 阅读全文
posted @ 2016-06-06 10:58 楚时邀月 阅读(250) 评论(0) 推荐(0)
python-大话装饰器
摘要：装饰器 装饰器是个什么玩意呢？是个会了不难，装逼神器。但是如果不了解理解起来还是很抽象，让我们试试这个装逼神器吧！ 1.什么是装饰器 装饰器是一个很著名的设计模式，经常被用于有切面需求的场景，较为经典的有插入日志、性能测试、事务处理等。装饰器是解决这类问题的绝佳设计，有了装饰器，我们就可以抽离出大量 阅读全文
posted @ 2016-06-02 13:44 楚时邀月 阅读(254) 评论(0) 推荐(0)