day 22 常用模块
1 时间模块 time
1.1 时间分为三种格式：
Python中，通常有这几种方式来表示时间：
- 时间戳(timestamp)：通常来说，时间戳表示的是从1970年1月1日00:00:00开始按秒计算的偏移量。我们运行“type(time.time())”，返回的是float类型。
- 格式化的时间字符串(Format String)
- 结构化的时间(struct_time)：struct_time元组共有9个元素共九个元素:(年，月，日，时，分，秒，一年中第几周，一年中第几天，夏令时)
1 时间戳：从 1970 年到现在经过的秒数作用：用于时间间隔的计算
print(time.time())
2 按照某种格式显示的时间：2020-03-30 11:11:11
作用：用于展示时间
print(time.strftime('%Y-%m-%d %H:%M:%S %p'))
print(time.strftime('%Y-%m-%d %X'))
3 结构化的时间
作用：用于单独获取时间的某一部分
res=time.localtime()
print(res)
print(res.tm_year)
print(res.tm_yday)
import time
print(time.time()) # 时间戳:1487130156.419527
print(time.strftime("%Y-%m-%d %X")) #格式化的时间字符串:'2017-02-15 11:40:53'
print(time.localtime()) #本地时区的struct_time
print(time.gmtime()) #UTC时区的struct_time
1.2 datetime
用于时间的运算
import datetime
print(datetime.datetime.now())
print(datetime.datetime.now() + datetime.timedelta(days=3))
print(datetime.datetime.now() + datetime.timedelta(weeks=1))
-------------------------------------------------------------
import datetime
print(datetime.datetime.now()) #返回 2016-08-19 12:47:03.941925
print(datetime.date.fromtimestamp(time.time()) ) # 时间戳直接转成日期格式 2016-08-19
print(datetime.datetime.now() )
print(datetime.datetime.now() + datetime.timedelta(3)) #当前时间+3天
print(datetime.datetime.now() + datetime.timedelta(-3)) #当前时间-3天
print(datetime.datetime.now() + datetime.timedelta(hours=3)) #当前时间+3小时
print(datetime.datetime.now() + datetime.timedelta(minutes=30)) #当前时间+30分
c_time = datetime.datetime.now()
print(c_time.replace(minute=3,hour=2)) #时间替换
1.3 时间格式的转换
其中计算机认识的时间只能是'时间戳'格式，而程序员可处理的或者说人类能看懂的时间有: '格式化的时间字符串'，'结构化的时间' ，于是有了下图的转换关系
-
struct_time->时间戳
import time s_time=time.localtime() print(time.mktime(s_time)) -
时间戳->struct_time
tp_time=time.time() print(time.localtime(tp_time))补充：世界标准时间与本地时间
print(time.localtime()) print(time.gmtime()) # 世界标准时间，了解 print(time.localtime(333333333)) print(time.gmtime(333333333)) -
struct_time->格式化的字符串形式的时间
s_time=time.localtime() print(time.strftime('%Y-%m-%d %H:%M:%S',s_time)) print(time.strptime('1988-03-03 11:11:11','%Y-%m-%d %H:%M:%S')) -
真正需要掌握的只有一条：format string<------>timestamp
'1988-03-03 11:11:11'+7 format string--->struct_time--->timestamp struct_time=time.strptime('1988-03-03 11:11:11','%Y-%m-%d %H:%M:%S') timestamp=time.mktime(struct_time)+7*86400 print(timestamp) >>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>> format string<---struct_time<---timestamp res=time.strftime('%Y-%m-%d %X',time.localtime(timestamp)) print(res)
2 os模块
os模块是与操作系统交互的一个接口
os.getcwd() 获取当前工作目录，即当前python脚本工作的目录路径
os.chdir("dirname") 改变当前脚本工作目录；相当于shell下cd
os.curdir 返回当前目录: ('.')
os.pardir 获取当前目录的父目录字符串名：('..')
os.makedirs('dirname1/dirname2') 可生成多层递归目录
os.removedirs('dirname1') 若目录为空，则删除，并递归到上一级目录，如若也为空，则删除，依此类推
os.mkdir('dirname') 生成单级目录；相当于shell中mkdir dirname
os.rmdir('dirname') 删除单级空目录，若目录不为空则无法删除，报错；相当于shell中rmdir dirname
os.listdir('dirname') 列出指定目录下的所有文件和子目录，包括隐藏文件，并以列表方式打印
os.remove() 删除一个文件
os.rename("oldname","newname") 重命名文件/目录
os.stat('path/filename') 获取文件/目录信息
os.sep 输出操作系统特定的路径分隔符，win下为"\\",Linux下为"/"
os.linesep 输出当前平台使用的行终止符，win下为"\t\n",Linux下为"\n"
os.pathsep 输出用于分割文件路径的字符串 win下为;,Linux下为:
os.name 输出字符串指示当前使用平台。win->'nt'; Linux->'posix'
os.system("bash command") 运行shell命令，直接显示
os.environ 获取系统环境变量
os.path.abspath(path) 返回path规范化的绝对路径
os.path.split(path) 将path分割成目录和文件名二元组返回
os.path.dirname(path) 返回path的目录。其实就是os.path.split(path)的第一个元素
os.path.basename(path) 返回path最后的文件名。如何path以／或\结尾，那么就会返回空值。即os.path.split(path)的第二个元素
os.path.exists(path) 如果path存在，返回True；如果path不存在，返回False
os.path.isabs(path) 如果path是绝对路径，返回True
os.path.isfile(path) 如果path是一个存在的文件，返回True。否则返回False
os.path.isdir(path) 如果path是一个存在的目录，则返回True。否则返回False
os.path.join(path1[, path2[, ...]]) 将多个路径组合后返回，第一个绝对路径之前的参数将被忽略
os.path.getatime(path) 返回path所指向的文件或者目录的最后存取时间
os.path.getmtime(path) 返回path所指向的文件或者目录的最后修改时间
os.path.getsize(path) 返回path的大小
import os
>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>
res=os.listdir('.') #获取某一个文件夹下所有的子文件以及子文件夹的名字
print(res)
>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>
size=os.path.getsize(r'/Users/linhaifeng/PycharmProjects/s14/day22/01 时间模块.py')
print(size)
>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>
os.remove() 删除一个文件
os.rename("oldname","newname") 重命名文件/目录
>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>
应用程序----》"ls /"
os.system("ls /")
>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>
规定：key 与 value 必须都为字符串
os.environ['aaaaaaaaaa']='111'
print(os.environ)
>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>
print(os.path.dirname(r'/a/b/c/d.txt'))
print(os.path.basename(r'/a/b/c/d.txt'))
>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>
print(os.path.isfile(r'笔记.txt'))
print(os.path.isfile(r'aaa'))
>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>
print(os.path.isdir(r'aaa'))
>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>
print(os.path.join('a','/','b','c','d'))# 推荐用这种
>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>
BASE_DIR=os.path.dirname(os.path.dirname(__file__))
print(BASE_DIR)
>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>
BASE_DIR=os.path.normpath(os.path.join( __file__, '..', '..'))
print(BASE_DIR)
>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>
在 python3.5 之后，推出了一个新的模块 pathlib
from pathlib import Path
>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>
res = Path(__file__).parent.parent
print(res)
res=Path('/a/b/c') / 'd/e.txt'
print(res)
print(res.resolve())
3 sys模块
sys.argv 命令行参数List，第一个元素是程序本身路径
sys.exit(n) 退出程序，正常退出时exit(0)
sys.version 获取Python解释程序的版本信息
sys.maxint 最大的Int值
sys.path 返回模块的搜索路径，初始化时使用PYTHONPATH环境变量的值
sys.platform 返回操作系统平台名称
import sys
sys.argv 获取的是输入解释器后参数值
print(sys.argv)
-
打印进度条
#=========知识储备========== #进度条的效果 [# ] [## ] [### ] [#### ] #指定宽度 print('[%-15s]' %'#') print('[%-15s]' %'##') print('[%-15s]' %'###') print('[%-15s]' %'####') #打印% print('%s%%' %(100)) #第二个%号代表取消第一个%的特殊意义 #可传参来控制宽度 print('[%%-%ds]' %50) #[%-50s] print(('[%%-%ds]' %50) %'#') print(('[%%-%ds]' %50) %'##') print(('[%%-%ds]' %50) %'###') #=========实现打印进度条函数========== import sys import time def progress(percent,width=50): if percent >= 1: percent=1 show_str=('[%%-%ds]' %width) %(int(width*percent)*'#') print('\r%s %d%%' %(show_str,int(100*percent)),file=sys.stdout,flush=True,end='') #=========应用========== data_size=1025 recv_size=0 while recv_size < data_size: time.sleep(0.1) #模拟数据的传输延迟 recv_size+=1024 #每次收1024 percent=recv_size/data_size #接收的比例 progress(percent,width=70) #进度条的宽度70
4 random模块
-
基本使用
import random print(random.random()) >>>>>>>>>>默认(0,1),大于 0 且小于 1 之间的小数 print(random.randint(1, 3)) >>>>>>>>>>[1,3] 大于等于 1 且小于等于 3 之间的整数 print(random.randrange(1, 3)) >>>>>>>>>>[1,3) 大于等于 1 且小于 3 之间的整数 print(random.choice([111, 'aaa', [4, 5]])) >>>>>>>>>>1 或者 23 或者[4,5] print(random.sample([111, 'aaa', 'ccc','ddd'],2)) >>>>>>>>>>列表元素任意 2 个组合 print(random.uniform(1, 3)) >>>>>>>>>>大于 1 小于 3 的小数，如 1.927109612082716 >>>>>>>>>>>>>>>>>>>>>>>>>>>>>>> item = [1, 3, 5, 7, 9] random.shuffle(item) # 打乱 item 的顺序,相当于"洗牌" print(item) -
应用：随机验证码
import random res='' for i in range(6): 从 26 大写字母中随机取出一个=chr(random.randint(65,90)) 从 10 个数字中随机取出一个=str(random.randint(0,9)) 随机字符=random.choice([从 26 大写字母中随机取出一个,从 10 个数字中随机取出一个]) res+=随机字符 >>>>>>>>>>>>>>>>>>>>>>>>>>>>>>> import random def make_code(size=4): res='' for i in range(size): s1=chr(random.randint(65,90)) s2=str(random.randint(0,9)) res+=random.choice([s1,s2]) return res print(make_code(6))
5 json与pickle模块
之前我们学习过用eval内置方法可以将一个字符串转成python对象，不过，eval方法是有局限性的，对于普通的数据类型，json.loads和eval都能用，但遇到特殊类型的时候，eval就不管用了,所以eval的重点还是通常用来执行一个字符串表达式，并返回表达式的值。
1 import json
2 x="[null,true,false,1]"
3 print(eval(x)) #报错，无法解析null类型，而json就可以
4 print(json.loads(x))
5.1 什么是序列化&反序列化
我们把对象(变量)从内存中变成可存储或传输的过程称之为序列化，在Python中叫pickling，在其他语言中也被称之为serialization，marshalling，flattening等等，都是一个意思。
内存中的数据类型---->序列化---->特定的格式（json 格式或者 pickle 格式）
内存中的数据类型<----反序列化<----特定的格式（json 格式或者 pickle 格式）
-
土办法：
{'aaa':111}--->序列化 str({'aaa':111})----->"{'aaa':111}"
{'aaa':111}<---反序列化 eval("{'aaa':111}")<-----"{'aaa':111}"
5.2 为何要序列化
1：持久保存状态
需知一个软件/程序的执行就在处理一系列状态的变化，在编程语言中，'状态'会以各种各样有结构的数据类型(也可简单的理解为变量)的形式被保存在内存中。
内存是无法永久保存数据的，当程序运行了一段时间，我们断电或者重启程序，内存中关于这个程序的之前一段时间的数据（有结构）都被清空了。
在断电或重启程序之前将程序当前内存中所有的数据都保存下来（保存到文件中），以便于下次程序执行能够从文件中载入之前的数据，然后继续执行，这就是序列化。
具体的来说，你玩使命召唤闯到了第13关，你保存游戏状态，关机走人，下次再玩，还能从上次的位置开始继续闯关。或如，虚拟机状态的挂起等。
2：跨平台数据交互
序列化之后，不仅可以把序列化后的内容写入磁盘，还可以通过网络传输到别的机器上，如果收发的双方约定好实用一种序列化的格式，那么便打破了平台/语言差异化带来的限制，实现了跨平台数据交互。
反过来，把变量内容从序列化的对象重新读到内存里称之为反序列化，即unpickling。
-
序列化得到结果=>特定的格式的内容有两种用途
1 可用于存储=》用于存档
2 传输给其他平台使用=》跨平台数据交互
-
强调：
针对用途 1 的特定一格式：可是一种专用的格式=》pickle 只有 python 可以识别
针对用途 2 的特定一格式：应该是一种通用、能够被所有语言识别的格式=》json
5.3 如何序列化与反序列化
json
如果我们要在不同的编程语言之间传递对象，就必须把对象序列化为标准格式，比如XML，但更好的方法是序列化为JSON，因为JSON表示出来就是一个字符串，可以被所有语言读取，也可以方便地存储到磁盘或者通过网络传输。JSON不仅是标准格式，并且比XML更快，而且可以直接在Web页面中读取，非常方便。
JSON表示的对象就是标准的JavaScript语言的对象，JSON和Python内置的数据类型对应如下：
示范 1
import json
#序列化
json_res=json.dumps([1,'aaa',True,False])
print(json_res,type(json_res)) # "[1, "aaa", true, false]"
>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>
#反序列化
l=json.loads(json_res)
print(l,type(l))
----------------------------------------------------------------------
import json
dic={'name':'alvin','age':23,'sex':'male'}
print(type(dic))#<class 'dict'>
j=json.dumps(dic)
print(type(j))#<class 'str'>
f=open('序列化对象','w')
f.write(j) #-------------------等价于json.dump(dic,f)
f.close()
#-----------------------------反序列化<br>
import json
f=open('序列化对象')
data=json.loads(f.read())# 等价于data=json.load(f)
示范 2：
序列化的结果写入文件的复杂方法
import json
with open('test.json',mode='wt',encoding='utf-8') as f:
f.write(json_res)
将序列化的结果写入文件的简单方法
with open('test.json',mode='wt',encoding='utf-8') as f:
json.dump([1,'aaa',True,False], f)
从文件读取 json 格式的字符串进行反序列化操作的复杂方法
with open('test.json',mode='rt',encoding='utf-8') as f:
json_res=f.read()
l=json.loads(json_res)
print(l,type(l))
从文件读取 json 格式的字符串进行反序列化操作的简单方法
with open('test.json',mode='rt',encoding='utf-8') as f:
l=json.load(f)
print(l,type(l))
注意点
import json
dct="{'1':111}" #json 不认单引号
dct=str({"1":111}) #报错,因为生成的数据还是单引号:{'one': 1}
dct='{"1":"111"}'
print(json.loads(dct))
# 无论数据是怎样创建的，只要满足json格式，就可以json.loads出来,不一定非要dumps的数据才能loads
json 验证: json 格式兼容的是所有语言通用的数据类型，不能识别某一语言的所独有的类型
-
了解
l = json.loads(b'[1, "aaa", true, false]') print(l, type(l)) with open('test.json',mode='rb') as f: l=json.load(f) res=json.dumps({'name':'哈哈哈'}) print(res,type(res)) res=json.loads('{"name": "\u54c8\u54c8\u54c8"}') print(res,type(res))
5.4 猴子补丁
在入口处打猴子补丁
import json
import ujson
def monkey_patch_json():
json.__name__ = 'ujson'
json.dumps = ujson.dumps
json.loads = ujson.loads
monkey_patch_json() # 在入口文件出运行
5.5 pickle 模块
Pickle的问题和所有其他编程语言特有的序列化问题一样，就是它只能用于Python，并且可能不同版本的Python彼此都不兼容，因此，只能用Pickle保存那些不重要的数据，不能成功地反序列化也没关系。
import pickle
res=pickle.dumps({1,2,3,4,5})
print(res,type(res))
s=pickle.loads(res)
print(s,type(s))
6 哈西模块
6.1 什么是哈希 hash
# 1、什么叫hash:hash是一种算法（3.x里代替了md5模块和sha模块，主要提供 SHA1, SHA224, SHA256, SHA384, SHA512 ，MD5 算法），该算法接受传入的内容，经过运算得到一串hash值
# 2、hash值的特点是：
#2.1 只要传入的内容一样，得到的hash值必然一样=====>要用明文传输密码文件完整性校验
#2.2 不能由hash值返解成内容=======》把密码做成hash值，不应该在网络传输明文密码
#2.3 只要使用的hash算法不变，无论校验的内容有多大，得到的hash值长度是固定的
-
hash：一类算法，该算法接受传入的内容，经过运算得到一串 hash 值
-
hash 值的特点：
I 只要传入的内容一样，得到的 hash 值必然一样
II 不能由 hash 值返解成内容
III 只要使用的hash算法不变，无论校验的内容有多大，得到的hash值长度是固定的
hash算法就像一座工厂，工厂接收你送来的原材料（可以用m.update()为工厂运送原材料），经过加工返回的产品就是hash值
6.2 hashlib 的用途
用途 1：特点 II 用于密码密文传输与验证
用途 2：特点 I、III 用于文件完整性校验
6.3 如何用
import hashlib
m=hashlib.md5()
m.update('hello'.encode('utf-8')) #传入的是byte类型
m.update('world'.encode('utf-8'))
res=m.hexdigest()
print(res) #5d41402abc4b2a76b9719d911017c592
>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>
m1=hashlib.md5('he'.encode('utf-8'))
m1.update('llo'.encode('utf-8'))
m1.update('w'.encode('utf-8'))
m1.update('orld'.encode('utf-8'))
res=m1.hexdigest()
print(res) 5d41402abc4b2a76b9719d911017c592
以上加密算法虽然依然非常厉害，但时候存在缺陷，即：通过撞库可以反解。所以，有必要对加密算法中添加自定义key再来做加密。
-
模拟撞库
cryptograph='aee949757a2e698417463d47acac93df' import hashlib # 制作密码字段 passwds=[ 'alex3714', 'alex1313', 'alex94139413', 'alex123456',# '123456alex', 'a123lex', ] dic={} for p in passwds: res=hashlib.md5(p.encode('utf-8')) dic[p]=res.hexdigest() # 模拟撞库得到密码 for k,v in dic.items(): if v == cryptograph: print('撞库成功，明文密码是：%s' %k) break -
提升撞库的成本=>密码加盐
import hashlib m=hashlib.md5() m.update('天王'.encode('utf-8')) m.update('alex3714'.encode('utf-8')) m.update('盖地虎'.encode('utf-8')) m.update(文件所有的内容) print(m.hexdigest())
7 configparser模块
配置文件如下：
[section1]
k1 = v1
k2:v2
user=egon
age=18
is_admin=true
salary=31
-----------------------
[section2]
k1 = v1
读取
import configparser
config=configparser.ConfigParser()
config.read('a.cfg')
#查看所有的标题
res=config.sections() #['section1', 'section2']
print(res)
#查看标题section1下所有key=value的key
options=config.options('section1')
print(options) #['k1', 'k2', 'user', 'age', 'is_admin', 'salary']
#查看标题section1下所有key=value的(key,value)格式
item_list=config.items('section1')
print(item_list) #[('k1', 'v1'), ('k2', 'v2'), ('user', 'egon'), ('age', '18'), ('is_admin', 'true'), ('salary', '31')]
#查看标题section1下user的值=>字符串格式
val=config.get('section1','user')
print(val) #egon
#查看标题section1下age的值=>整数格式
val1=config.getint('section1','age')
print(val1) #18
#查看标题section1下is_admin的值=>布尔值格式
val2=config.getboolean('section1','is_admin')
print(val2) #True
#查看标题section1下salary的值=>浮点型格式
val3=config.getfloat('section1','salary')
print(val3) #31.0
8 subprocess模块
执行系统命令
import subprocess
obj=subprocess.Popen('echo 123 ; ls / ; ls /root', shell=True, #操作命令
stdout=subprocess.PIPE, #正确的结果放管道里，等待取
stderr=subprocess.PIPE, #错误的结果放管道里，等待取
)
print(obj) #obj只是一个对象，命令的结果在管道里
res=obj.stdout.read() #有正确值时，查看正确值，值是byte类型
print(res.decode('utf-8')) #这里的编码是系统默认编码，Windows就是gbk
err_res=obj.stderr.read() #有错误值时，查看错误值，值是byte类型
print(err_res.decode('utf-8'))
浙公网安备 33010602011771号