zhengna - 博客园

2018年12月21日

摘要：目录 1.hadoop概述 2.目前数据集主要特点 3.传统数据 VS 大数据 4.并行关系数据库 VS MPPorHadoop 5.Hadoop的子项目 6.谁在使用hadoop？ 1.hadoop概述 Hadoop是一个开源的、可靠的、可扩展的分布式并行计算框架主要组成（两大核心设计）：分布式文阅读全文

posted @ 2018-12-21 16:21 zhengna 阅读(213) 评论(0) 推荐(0)

kafka8 编写简单消费者

摘要： 1.eclipse运行消费者代码。代码如下 1 package cn.test.mykafka; 2 3 import java.util.Arrays; 4 import java.util.Properties; 5 6 import org.apache.kafka.clients.consu 阅读全文

posted @ 2018-12-21 16:18 zhengna 阅读(316) 评论(0) 推荐(0)

大数据学习目录

摘要： hadoop搭建伪分布式集群（centos7+hadoop-3.1.0/2.7.7） HDFS介绍及简单操作执行hadoop自带的WordCount实例 HIVE的安装 HIVE简单操作 HBase介绍 HBase单机模式安装 zookeeper介绍 zookeeper三种模式安装详解（cento 阅读全文

posted @ 2018-12-21 16:18 zhengna 阅读(328) 评论(0) 推荐(0)

kafka7 探索生产者同步or异步发送消息

摘要： 1.生产者：在发送完消息后，收到回执确认。主要是在SimpleProducer.java中修改了发送消息的2行代码，用到了回调函数，修改如下：完整代码如下： 1 package cn.test.mykafka; 2 3 import java.util.Properties; 4 5 impor 阅读全文

posted @ 2018-12-21 16:17 zhengna 阅读(13204) 评论(0) 推荐(0)

2018年12月17日

Python3学习之路~5.13 re模块正则表达式

摘要： re模块用于对python的正则表达式的操作。常用正则表达式符号正则表达式代码实例 import re # . 匹配除换行符以外的任意字符，即[^\n] # + 重复一次或更多次 # .+匹配任意字符串 res = re.search('f.+n',"abcd1234efghijklmn567 阅读全文

posted @ 2018-12-17 14:41 zhengna 阅读(328) 评论(0) 推荐(0)

Python3学习之路~5.12 hashlib & hmac & md5 & sha & base64模块

摘要： hashlib模块用于加密相关的操作，3.x里代替了md5模块和sha模块，主要提供 SHA1, SHA224, SHA256, SHA384, SHA512 ，MD5 算法 import md5 hash = md5.new() hash.update('Hello') print hash.he 阅读全文

posted @ 2018-12-17 14:22 zhengna 阅读(902) 评论(0) 推荐(0)

Python3学习之路~5.11 configparser模块

摘要：用于生成和修改常见配置文档，当前模块的名称在 python 2.x 版本中为 ConfigParser， python 3.x 版本中变更为 configparser。来看一个好多软件的常见文档格式如下如果想用python生成一个这样的文档怎么做呢？写完了还可以再读出来 import conf 阅读全文

posted @ 2018-12-17 14:09 zhengna 阅读(188) 评论(0) 推荐(0)

Python3学习之路~5.10 PyYAML模块

摘要： Python也可以很容易的处理ymal文档格式，只不过需要安装一个模块，参考文档：http://pyyaml.org/wiki/PyYAMLDocumentation 阅读全文

posted @ 2018-12-17 14:06 zhengna 阅读(548) 评论(0) 推荐(0)

2018年12月14日

Python3学习之路~5.9 xml处理模块

摘要： xml是实现不同语言或程序之间进行数据交换的协议，跟json差不多，但json使用起来更简单，不过，以前在json还没诞生的时候，大家只能选择用xml，至今很多传统公司如金融行业的很多系统的接口还主要是xml。 xml的格式如下，就是通过<>节点来区别数据结构的: <?xml version="1. 阅读全文

posted @ 2018-12-14 09:31 zhengna 阅读(176) 评论(0) 推荐(0)

2018年12月13日

Python3学习之路~5.8 shelve模块

摘要： shelve模块是一个简单的k,v将内存数据通过文件持久化的模块，可以持久化任何pickle可支持的python数据格式 import shelve import datetime name = ["alex", "rain", "test"] info = {'age':21,'job':'it' 阅读全文

posted @ 2018-12-13 13:47 zhengna 阅读(243) 评论(0) 推荐(0)

公告