模块2-2 模块基础

模块介绍

 

什么是模块

在Python中，一个.py文件就可以称之为一个模块（Module）

 

模块的好处

1. 最大的好处是大大提高了代码的可维护性。其次，编写代码不必从零开始。当一个模块编写完毕，就可以被其他地方引用。我们在编写程序的时候，也经常引用其他模块，包括Python内置的模块和来自第三方的模块。
2. 使用模块还可以避免函数名和变量名冲突。每个模块有独立的命名空间，因此相同名字的函数和变量完全可以分别存在不同的模块中，所以，我们自己在编写模块时，不必考虑名字会与其他模块冲突

 

模块的分类

• 标准模块、内置模块 库 约300个
• 第三方模块 约18万个
• 自定义模块，自己写的模块。

 

导入方式

import os,sys

from os import rename,path

from asyncio.events import get_event_loop_policy

from asyncio.events import get_event_loop_policy as get_event

from os import * (一般不推荐使用)

 

 

自定义模块

• 模块查找路径

sys.path查询到的就是模块查找的路径

我们自己创建的模块若想在任何地方都能调用，那就得确保你的模块文件至少在模块路径的查找列表中。我们一般把自己写的模块放在一个带有"site-packages"字样的目录里，我们从网上下载安装的各种第三方的模块一般都放在这个目录。

 

第三方模块

• 直接在上面这个页面上点download,下载后，解压并进入目录，执行以下命令完成安装

python setup.py install

• 直接通过pip安装

pip3 install paramiko

 

指定安装源（—trusted-host 得加上，是通过网站https安全验证用的）

pip install -i http://pypi.douban.com/simple/ alex_sayhi --trusted-host pypi.douban.com

 

 

常用第三方模块

 

OS&sys

 

 

时间处理模块

 

• 我们写程序时对时间的处理可以归为以下3种：
• 时间的显示，在屏幕显示、记录日志等
• 时间的转换，比如把字符串格式的日期转成Python中的日期类型
• 时间的运算，计算两个日期间的差值等

   

• 在Python中，通常有这几种方式来表示时间：
• 时间戳（timestamp）, 表示的是从1970年1月1日00:00:00开始按秒计算的偏移量。例子：1554864776.161901
• 格式化的时间字符串，比如"2020-10-03 17:54"
• 元组（struct_time）共九个元素。

 

time模块一般用于时间关系转换（时间戳、时间元组struct_time、格式字符串）

 

• 时间转换关系

 

 

datatime模块一般用于时间的运算

• datatime模块主要的类：
• datetime.date：表示日期的类。常用的属性有year, month, day；
• datetime.time：表示时间的类。常用的属性有hour, minute, second, microsecond；
• datetime.datetime：表示日期时间。
• datetime.timedelta：表示时间间隔，即两个时间点之间的长度。
• datetime.tzinfo：与时区有关的相关信息。（这里不详细充分讨论该类，感兴趣的童鞋可以参考python手册）

 

• datatime模块常用的方法
  • d=datetime.datetime.now() 返回当前的datetime日期类型

    d.timestamp(),d.today(), d.year,d.timetuple()等方法可以调用

    datetime.date.fromtimestamp(322222) 把一个时间戳转为datetime日期类型

• 时间运算

  >>> datetime.datetime.now()             datetime.datetime(2017, 10, 1, 12, 53, 11, 821218)             >>> datetime.datetime.now() + datetime.timedelta(4) #当前时间 +4天             datetime.datetime(2017, 10, 5, 12, 53, 35, 276589)             >>> datetime.datetime.now() + datetime.timedelta(hours=4) #当前时间+4小时             datetime.datetime(2017, 10, 1, 16, 53, 42, 876275)

• 时间替换

  >>> d.replace(year=2999,month=11,day=30) datetime.date(2999, 11, 30)

 

 

random随机数

>>> random.randrange(1,10) #返回1-10之间的一个随机数，不包括10 >>> random.randint(1,10) #返回1-10之间的一个随机数，包括10 >>> random.randrange(0, 100, 2) #随机选取0到100间的偶数 >>> random.random() #返回一个随机浮点数 >>> random.choice('abce3#$@1') #返回一个给定数据集合中的随机字符 >>> random.sample('abcdefghij',3) #从多个字符中选取特定数量的字符

 

pickle和json序列化

• pickle

序列化是指把内存里的数据类型转变成字符串，以使其能存储到硬盘或通过网络传输到远程，因为硬盘或网络传输时只能接受bytes。

dumps：将数据通过特殊的形式转换位只有python语言认识的字符串

dump：将数据通过特殊的形式转换位只有python语言认识的字符串，并写入文件

loads：转换为数据

load：从文件里加载

 

• json

方法和pickle基本一致

dumps：将数据通过特殊的形式转换位只有python语言认识的字符串

dump：将数据通过特殊的形式转换位只有python语言认识的字符串，并写入文件

loads：转换为数据

load：从文件里加载

 

• json和pickle的区别

pickle

只支持python语言

支持py里的所有数据类型

 

json

所有语言都支出

只支持常规数据类型，str,int.dict,set,list,touple

 

hashlib加密

 

• hash

Hash，一般翻译做"散列"，也有直接音译为"哈希"的，就是把任意长度的输入（又叫做预映射，pre-image），通过散列算法，变换成固定长度的输出，该输出就是散列值。这种转换是一种压缩映射，也就是，散列值的空间通常远小于输入的空间，不同的输入可能会散列成相同的输出，而不可能从散列值来唯一的确定输入值。

简单的说就是一种将任意长度的消息压缩到某一固定长度的消息摘要的函数。

HASH主要用于信息安全领域中加密算法，他把一些不同长度的信息转化成杂乱的128位的编码里,叫做HASH值.也可以说，hash就是找到一种数据内容和数据存放地址之间的映射关系

 

• MD5
  • 什么是MD5算法

MD5讯息摘要演算法（英语：MD5 Message-Digest Algorithm），一种被广泛使用的密码杂凑函数，可以产生出一个128位的散列值（hash value），用于确保信息传输完整一致。MD5的前身有MD2、MD3和MD4。

• MD5功能

输入任意长度的信息，经过处理，输出为128位的信息（数字指纹）；

不同的输入得到的不同的结果（唯一性）；

• MD5算法的特点

压缩性：任意长度的数据，算出的MD5值的长度都是固定的

容易计算：从原数据计算出MD5值很容易

抗修改性：对原数据进行任何改动，修改一个字节生成的MD5值区别也会很大

强抗碰撞：已知原数据和MD5，想找到一个具有相同MD5值的数据（即伪造数据）是非常困难的。

• MD5算法是否可逆？

MD5不可逆的原因是其是一种散列函数，使用的是hash算法，在计算过程中原文的部分信息是丢失了的。

• MD5用途

1. 防止篡改（一致性校验）
2. 防止看到明文（加密）
3. 防止抵赖（数字签名）

 

• SHA

  安全哈希算法（Secure Hash Algorithm）主要适用于数字签名标准（Digital Signature Standard DSS）里面定义的数字签名算法（Digital Signature Algorithm DSA）。对于长度小于2^64位的消息，SHA1会产生一个160位的消息摘要。当接收到消息的时候，这个消息摘要可以用来验证数据的完整性。

   

  于MD5和SHA-1于2005年被山东大学的教授王小云破解了，科学家们又推出了SHA224, SHA256, SHA384, SHA512，当然位数越长，破解难度越大，但同时生成加密的消息摘要所耗时间也更长。

  目前最流行的是加密算法是SHA-256 .

   

• python中的应用

   

sha256应用举例：

 

说明，多次update后，计算得到的hash值，是一个累加的值

 

 

文件copy shutil 模块

 

正则表达式re模块

 

• 常用re的匹配语法
• re.match 从头开始匹配
• re.search 匹配包含
• re.findall 把所有匹配到的字符放到以列表中的元素返回
• re.split 以匹配到的字符当做列表分隔符
• re.sub 匹配字符并替换
• re.fullmatch 全部匹配
• re.compile 生成表达式

 

• 常用的表达式规则

  '.' 默认匹配除\n之外的任意一个字符，若指定flag DOTALL,则匹配任意字符，包括换行 '^' 匹配字符开头，若指定flags MULTILINE,这种也可以匹配上(r"^a","\nabc\neee",flags=re.MULTILINE) '$' 匹配字符结尾， 若指定flags MULTILINE ,re.search('foo.$','foo1\nfoo2\n',re.MULTILINE).group() 会匹配到foo1 '*' 匹配*号前的字符0次或多次， re.search('a*','aaaabac') 结果'aaaa' '+' 匹配前一个字符1次或多次，re.findall("ab+","ab+cd+abb+bba") 结果['ab', 'abb'] '?' 匹配前一个字符1次或0次 ,re.search('b?','alex').group() 匹配b 0次 '{m}' 匹配前一个字符m次 ,re.search('b{3}','alexbbbs').group() 匹配到'bbb' '{n,m}' 匹配前一个字符n到m次，re.findall("ab{1,3}","abb abc abbcbbb") 结果'abb', 'ab', 'abb'] '|' 匹配|左或|右的字符，re.search("abc|ABC","ABCBabcCD").group() 结果'ABC' '(...)' 分组匹配， re.search("(abc){2}a(123|45)", "abcabca456c").group() 结果为'abcabca45' '\A' 只从字符开头匹配，re.search("\Aabc","alexabc") 是匹配不到的，相当于re.match('abc',"alexabc") 或^ '\Z' 匹配字符结尾，同$ '\d' 匹配数字0-9 '\D' 匹配非数字 '\w' 匹配[A-Za-z0-9] '\W' 匹配非[A-Za-z0-9] '\s' 匹配空白字符、\t、\n、\r , re.search("\s+","ab\tc1\n3").group() 结果 '\t' '(?P...)' 分组匹配 re.search("(?P[0-9]{4})(?P[0-9]{2})(?P[0-9]{4}

   

• Flags标志符
• re.I(re.IGNORECASE): 忽略大小写（括号内是完整写法，下同）
• re.M(MULTILINE): 多行模式，改变'^'和'$'的行为
• re.S(DOTALL): 改变'.'的行为,make the '.' special character match any character at all, including a newline; without this flag, '.' will match anything except a newline.
• re.X(re.VERBOSE) 可以给你的表达式写注释，使其更可读，下面这2个意思一样

 

 

logging模块

 

日志级别

 

 

日志格式

举例

import logging logging.basicConfig(format='%(asctime)s %(message)s', datefmt='%m/%d/%Y %I:%M:%S %p') logging.warning('is when this event was logged.') #输出 12/12/2010 11:46:36 AM is when this event was logged.

 

日志模块的组件

• logger提供了应用程序可以直接使用的接口；
• handler将(logger创建的)日志记录发送到合适的目的输出；
• filter提供了细度设备来决定输出哪条日志记录；
• formatter决定日志记录的最终输出格式。

 

他们的关系：