2018年1月10日

Python 用Redis简单实现分布式爬虫

摘要: Redis通常被认为是一种持久化的存储器关键字-值型存储,可以用于几台机子之间的数据共享平台。 连接数据库 注意:假设现有几台在同一局域网内的机器分别为Master和几个Slaver Master连接时host为localhost即本机的ip Slaver连接时的host也为Master的ip,端口 阅读全文

posted @ 2018-01-10 16:18 快乐糖果屋 阅读(404) 评论(0) 推荐(0)

用python的正则表达式实现简单的计算器功能

摘要: 用python的正则表达式实现简单的计算器功能 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 阅读全文

posted @ 2018-01-10 15:58 快乐糖果屋 阅读(303) 评论(0) 推荐(0)

Python3之urllib模块

摘要: Python3之urllib模块 简介 urllib是python的一个获取url(Uniform Resource Locators,统一资源定位符),可以用来抓取远程的数据。 常用方法 (1)urlopen urllib.request.urlopen(url, data=None,[timeo 阅读全文

posted @ 2018-01-10 15:51 快乐糖果屋 阅读(246) 评论(0) 推荐(0)

Python3之collections模块

摘要: Python3之collections模块 简介 collections是Python内建的一个集合模块,提供了许多有用的集合类。 namedtuple namedtuple 是一个函数,它用来创建一个自定义的元组对象,并且规定了元组元素的个数,并可以用属性而不是索引来引用元组的某个元素。可以通过 阅读全文

posted @ 2018-01-10 15:49 快乐糖果屋 阅读(171) 评论(0) 推荐(0)

Python3之 contextlib

摘要: Python3之 contextlib Python中当我们们打开文本时,通常会是用with语句,with语句允许我们非常方便的使用资源,而不必担心资源没有关闭。 1 2 with open('/path/filename', 'r') as f: f.read() 然而,并不是只有open()函数 阅读全文

posted @ 2018-01-10 15:49 快乐糖果屋 阅读(157) 评论(0) 推荐(0)

Python3之sqlalchemy

摘要: Python3之sqlalchemy SqlAlchemy是Python编程语言下的一款ORM框架,该框架建立在数据库API之上,使用关系对象映射进行数据库操作,简而言之:将对象转换成SQL,然后使用数据API执行SQL并获取执行结果。 ORM(对象关系映射)方法论基于三个核心原则: 简单:以最基本 阅读全文

posted @ 2018-01-10 15:48 快乐糖果屋 阅读(283) 评论(0) 推荐(0)

Python3之RabbitMQ

摘要: Python3之RabbitMQ 简介 RabbitMQ是一个在AMQP基础上完整的,可复用的企业消息系统。他遵循Mozilla Public License开源协议。 MQ全称为Message Queue, 消息队列(MQ)是一种应用程序对应用程序的通信方法。应用程序通过读写出入队列的消息(针对应 阅读全文

posted @ 2018-01-10 15:46 快乐糖果屋 阅读(237) 评论(0) 推荐(0)

Python3之redis使用

摘要: Python3之redis使用 简介 redis是一个key-value存储系统,和Memcache类似,它支持存储的value类型相对更多,包括string(字符串),list(链表),set(集合),zset(有序集合),hash(哈希类型)。这些数据类型都支持push/pop,add/remo 阅读全文

posted @ 2018-01-10 15:45 快乐糖果屋 阅读(309) 评论(0) 推荐(0)

Python3之Memcache使用

摘要: Python3之Memcache使用 简介 Memcached是一个高性能的分布式内存对象缓存系统,用于动态WEB应用以减轻数据库负载。它通过在内存中缓存数据和对象来减少读取数据库的次数,从而提高动态,数据库网站的速度。Memcached基于一个存储键/值对的hashmap。其守护进程(daemon 阅读全文

posted @ 2018-01-10 15:42 快乐糖果屋 阅读(170) 评论(0) 推荐(0)

python自动化开发学习 进程, 线程, 协程

摘要: python自动化开发学习 进程, 线程, 协程 前言 在过去单核CPU也可以执行多任务,操作系统轮流让各个任务交替执行,任务1执行0.01秒,切换任务2,任务2执行0.01秒,在切换到任务3,这样反复执行下去,表面上看每个任务都是交替执行的,但是由于CPU速度太快,让我们觉得所有任务是在同时执行一 阅读全文

posted @ 2018-01-10 15:40 快乐糖果屋 阅读(236) 评论(0) 推荐(0)

python自动化开发学习 I/O多路复用

摘要: python自动化开发学习 I/O多路复用 一. 简介 socketserver在内部是由I/O多路复用,多线程和多进程,实现了并发通信。IO多路复用的系统消耗很小。 IO多路复用底层就是监听socket对象内部是否有变化,是否在收发消息,Python中select模块提供了select poll 阅读全文

posted @ 2018-01-10 15:28 快乐糖果屋 阅读(170) 评论(0) 推荐(0)

python算法

摘要: python算法 1. 冒泡算法 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 # 冒泡算法就是将需要排序的元素看作是一个个“气泡”,最小的“气泡”最先浮出水面,排在最前面。从小到大依次排列。 # 代码如下: li = [97, 65, 13, 39, 88, 50, 30 阅读全文

posted @ 2018-01-10 15:24 快乐糖果屋 阅读(184) 评论(0) 推荐(0)

Python3之uuid模块

摘要: Python3之uuid模块 一. 简介 UUID是128位的全局唯一标识符,通常由32字节的字母串表示。它可以保证时间和空间的唯一性,也称为GUID。 全称为:UUID--Universally Unique IDentifier 在python 中叫做UUID,在C#中称为 GUID--Glob 阅读全文

posted @ 2018-01-10 15:24 快乐糖果屋 阅读(225) 评论(0) 推荐(0)

Python3之PrettyTable模块

摘要: Python3之PrettyTable模块 一. 简介 Python通过prettytable模块将输出内容如表格方式整齐输出,python本身并不内置,需要独立安装该第三方库。 二. 安装 方式一:pip安装 1 >>> pip install PrettyTable 方式二:源码安装 1 2 3 阅读全文

posted @ 2018-01-10 15:22 快乐糖果屋 阅读(438) 评论(0) 推荐(0)

python设计模式

摘要: python设计模式 一. 单例模式 单例模式(singleton pattern)是最简单的设计模式之一。这种类型的设计模式属于创建型模式,它提供了一种创建对象的最佳方式。这种模式涉及到一个单一的类,该类负责创建自己的对象,同事确保只有单个对象被创建、这个类提供了一种访问其唯一的对象的方式,可以直 阅读全文

posted @ 2018-01-10 15:21 快乐糖果屋 阅读(583) 评论(0) 推荐(0)

python3反射解析

摘要: python反射解析 一. 简介 python中的反射功能是由以下四个内置函数提供:hasattr、getattr、setattr、delattr,改四个函数分别用于对对象内部执行:检查是否含有某成员、获取成员、设置成员、删除成员。 二. 使用 1 2 3 4 5 6 7 8 9 10 11 12 阅读全文

posted @ 2018-01-10 15:17 快乐糖果屋 阅读(192) 评论(0) 推荐(0)

Python3异常处理

摘要: Python3异常处理 一. 简介 在编程过程中为了增加友好性,在程序出现Bug时一般不会直接将错误信息展示给用户,而是提供一个友好的输出提示。 二. 使用 1. 异常基础 常用结构: 1 2 3 4 try: pass except Exception,ex: pass 其他结构: 1 2 3 4 阅读全文

posted @ 2018-01-10 15:15 快乐糖果屋 阅读(130) 评论(0) 推荐(0)

Python3之requests模块

摘要: Python3之requests模块 Python标准库中提供了:urllib等模块以供Http请求,但是,它的 API 太渣了。它是为另一个时代、另一个互联网所创建的。它需要巨量的工作,甚至包括各种方法覆盖,来完成最简单的任务。 发送GET请求 1 2 3 4 import urllib.requ 阅读全文

posted @ 2018-01-10 15:14 快乐糖果屋 阅读(157) 评论(0) 推荐(0)

Python3之时间模块time & datetime & calendar

摘要: Python3之时间模块time & datetime & calendar 一. 简介 python 提供很多方式处理日期与时间,转换日期格式是一个常见的功能。 时间元组:很多python函数用一个元组装起来的9组数字处理时间。 python中时间日期格式化符号: 1 2 3 4 5 6 7 8 阅读全文

posted @ 2018-01-10 15:10 快乐糖果屋 阅读(211) 评论(0) 推荐(0)

Python3之paramiko模块

摘要: Python3之paramiko模块 一. 简介 paramiko是一个基于SSH用于连接远程服务器并执行相关操作(SSHClient和SFTPClinet,即一个是远程连接,一个是上传下载服务),使用该模块可以对远程服务器进行命令或文件操作,值得一说的是,fabric和ansible内部的远程管理 阅读全文

posted @ 2018-01-10 15:09 快乐糖果屋 阅读(612) 评论(0) 推荐(0)

Python3之shutil模块

摘要: Python3之shutil模块 一. 简介 shutil 是高级的文件,文件夹,压缩包处理模块。 二. 使用 shutil.copyfileobj(fsrc, fdst[, length])将文件内容拷贝到另一个文件中 1 2 3 import shutil shutil.copyfileobj( 阅读全文

posted @ 2018-01-10 15:07 快乐糖果屋 阅读(229) 评论(0) 推荐(0)

Python3之random模块

摘要: Python3之random模块 一.简介 ramdom模块提供了一个随机数的函数:random() 它可以返回一个随机生成的实数,范围在[0,1)范围内。需要注意的是random()是不能直接访问的,需要导入模块random才可以使用。 二. 使用 1 2 3 4 5 6 7 8 9 10 11 阅读全文

posted @ 2018-01-10 15:06 快乐糖果屋 阅读(331) 评论(0) 推荐(0)

Python3之subprocess模块

摘要: Python3之subprocess模块 一.简介 subprocess最早在2.4版本引入。用来生成子进程,并可以通过管道连接他们的输入/输出/错误,以及获得他们的返回值。 1 2 3 4 5 6 7 # subprocess用来替换多个旧模块和函数 os.system os.spawn* os. 阅读全文

posted @ 2018-01-10 15:04 快乐糖果屋 阅读(286) 评论(0) 推荐(0)

Python3之sys模块

摘要: Python3之sys模块 一.简介 sys模块用于提供对python解释器的相关操作。 二.常用函数 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 阅读全文

posted @ 2018-01-10 15:01 快乐糖果屋 阅读(2640) 评论(0) 推荐(0)

Python3之os模块

摘要: Python3之os模块 一:简介 os模块主要用于提供系统高级别的操作。 二:常用方法 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 阅读全文

posted @ 2018-01-10 14:59 快乐糖果屋 阅读(1062) 评论(0) 推荐(0)

Python3之XML模块

摘要: Python3之XML模块 一.简介 xml是实现不同语言或程序之间进行数据交换的协议,可扩展标记语言,标准通用标记语言的子集。是一种用于标记电子文件使其具有结构性的标记语言。xml格式如下,是通过<>节点来区别数据结构的。 XML文件示例: 1 2 3 4 5 6 7 8 9 10 11 12 1 阅读全文

posted @ 2018-01-10 14:53 快乐糖果屋 阅读(235) 评论(0) 推荐(0)

Python3之configparser模块

摘要: Python3之configparser模块 1. 简介 configparser用于配置文件解析,可以解析特定格式的配置文件,多数此类配置文件名格式为XXX.ini,例如mysql的配置文件。在python3.X中 模块名为configparser ,在python2.X中使用的模块名为Confi 阅读全文

posted @ 2018-01-10 14:51 快乐糖果屋 阅读(188) 评论(0) 推荐(0)

Python3之hashlib模块

摘要: Python3之hashlib 简介: 用于加密相关的操作,代替了md5模块和sha模块,主要提供SHA1,SHA224,SHA256,SHA384,SHA512,MD5算法。在python3中已经废弃了md5和sha模块,简单说明下md5和sha的使用。 什么是摘要算法呢? 摘要算法又称为哈希算法 阅读全文

posted @ 2018-01-10 14:50 快乐糖果屋 阅读(324) 评论(0) 推荐(0)

Python3之pickle模块

摘要: Python3之pickle模块 用于序列化的两个模块 json:用于字符串和Python数据类型间进行转换 pickle: 用于python特有的类型和python的数据类型间进行转换 json提供四个功能:dumps,dump,loads,load pickle提供四个功能:dumps,dump 阅读全文

posted @ 2018-01-10 14:48 快乐糖果屋 阅读(11726) 评论(1) 推荐(0)

Python3之json模块

摘要: Python3之json模块 概念: 序列化(Serialization):将对象的状态信息转换为可以存储或可以通过网络传输的过程,传输的格式可以是JSON,XML等。反序列化就是从存储区域(JSON,XML)读取反序列化对象的状态,重新创建该对象。 JSON(Java Script Object 阅读全文

posted @ 2018-01-10 14:47 快乐糖果屋 阅读(290) 评论(0) 推荐(0)

python3与Redis连接操作

摘要: Python3之redis使用 简介 redis是一个key-value存储系统,和Memcache类似,它支持存储的value类型相对更多,包括string(字符串),list(链表),set(集合),zset(有序集合),hash(哈希类型)。这些数据类型都支持push/pop,add/remo 阅读全文

posted @ 2018-01-10 14:28 快乐糖果屋 阅读(439) 评论(0) 推荐(0)

导航