学习Python的第三天之网络爬虫

30岁程序员学习Python的第三天之网络爬虫——正则表达式

正则表达式 RE

正则表达式是用来简洁表达一组字符串的表达式。 一行胜千言
通用的字符串表达框架
应用方面：

1. 表达文本类型的特征（病毒、入侵等）
2. 同时查找或替换一组字符串
3. 匹配字符串的全部或部分。

使用方面：将符合正则表达式与方法的字符串转换成正则表达式
常用语法：

1. .(点号）：表示任何单个字符
2. [ ] ：字符集，对单个字符给出取值范围。例如：[abc]表示a、b、c,[a-z]表示a到z单个字符
3. [^ ] ：非字符集，对单子字符给出排除范围。例如：[^abc]表示非a或b或c的单个字符
4. * ：前一个字符0次或无限次扩展。例如：abc*表示ab、abc、abcc、abccc等
5. + ：建一个字符1次或无限次扩展。例如：abc+表示abc、abcc、abccc等
6. ？：前一个字符0或1次扩展。例如：abc?表示ab、abc
7. | ：左右表达式任意一个。例如：abc|def表示abc、def
8. {m} ：扩展前一个字符m次。例如：ab{2}c表示abbc
9. {m,n} ：扩展前一个字符m到n次.。例如：ab{1,2}c表示abc,abbc
10. ^ : 匹配字符串开头。例如：^abc表示abc且在一个字符串的开头
11. $ : 匹配字符出结尾。例如：abc$表示abc且在一个字符串的结尾
12. () ：分组标记，内部只能使用 | 操作符。例如：（abc）表示abc,(abc|def)表示abc,def
13. \d ：数字，等价于[0-9]
14. \w ：单词字符，等价于[A-Za-z0-9_]

例子：

正则表达式                                            对应字符串
P(Y|YT|YTH|YTHO)?N                         'PN'、'PYN'、'PYTN'、'PYTHN'、'PYTHON'
PYTHON+									   'PYTHON'、'PYTHONN'、'PYTHONNN'……
PY[TH]ON								   'PYTON'、'PYHON'
PY[^TH]?ON								   'PYaON'、'PYbON'、'PYcON'……
PY{:3}N                                    'PN'、'PYN'、'PYYN'、'PYYYN'

^[A-Za-z]+$					由26个字母组成的字符串
^[A-Za-z0-9]+$				由26个字母和数字组成的字符串
^-?\d+$						整数形式的字符串
^[0-9]*[1-9][0-9]*$			正整数形式的字符串
[1-9]\d{5}					中国境内邮政编码，6位
[\u4e00-\u9fa5]				匹配中文字符 用utf8编码，约定范围
\d{3}-\d{8}|\d{4}-\d{7}		国内电话号码，010-58748738

Re库（正则表达式库）

Re库是Python的标准库，主要用于字符串匹配。
表示类型：raw string类型 例如：r’text’ r’[1-9]\d{5}’
常用函数

re.search(pattern,string,flags=0)

在一个字符串中搜索匹配正则表达式的第一个位置，返回match对象

flags：re.I/re.IGNORECASE     忽略正则表达式中的大小写
	   re.M/re.MULTILINE 	  正则表达式中的^操作符能够将给定字符串的每行当作匹配开始
	   re.S/re.DOTALL		  正则表达式中的.操作符能都匹配所有字符，默认匹配除换行外的所有字符

示例：

import re
match = re.search(r'[1-9]\d{5}','BIT 100081')
if match:
    print(match.group(0))

re.match(pattern,string,flags=0)

从一个字符串的开始位置起匹配正则表达式，返回match对象。
示例：

import re
match = re.match(r'[1-9]\d{5}','BIT 100081')
if match:
    print(match.group(0))
match.group(0)

import re
match = re.match(r'[1-9]\d{5}','100081 BIT')
if match:
    print(match.group(0))

re.findall(pattern,string,flags=0)

搜索字符串，以列表类型返回全部能匹配到子串。
示例：

import re
match = re.findall(r'[1-9]\d{5}','BIT100081 MUST1000938')
if match:
    print(match)

re.split(pattern,string,maxsplit=0,flags=0)

将一个字符串按照正则表达式匹配的结果进行分割，返回列表类型。
maxsplit：最大分割数，剩余部分作为最后一个元素输出
示例：

import re
match = re.split(r'[1-9]\d{5}','BIT100081 MUST1000938')
print(match)
match1 = re.split(r'[1-9]\d{5}','BIT100081 MUST1000938',maxsplit=1)
print(match1)

re.finditer(pattern,string.flags=0)

搜索字符串，返回一个匹配结果的迭代类型，每个迭代元素是match对象。
示例：

import re
match = re.finditer(r'[1-9]\d{5}','BIT100081 MUST1000938')
for m in match:
    if m:
        print(m.group())

re.sub(pattern,repl,string,count=0,flags=0)

在一个字符串中替换所有匹配正则表达式的子串，返回替换后的字符串。
repl：替换匹配字符串的字符串
count：匹配的最大替换次数
示例：

import re
sub = re.sub(r'[1-9]\d{5}',':zipcode','BIT100081  MUST100098')
print(sub)

正则表达式的等价用法：
re.compile(pattern,flags=0)

import re
pat = re.compile(r'[1-9]\d{5}')  这行代码执行完才是正则表达式
rst = pat.search("MUST100098")
print(rst.group())

match对象

import re
pat = re.compile(r'[1-9]\d{5}')
match = pat.search("MUST100098")
if match:
    print(match.group(0))
    print(type(match))

match对象的重要属性

match.string				待匹配的文本
match.re					匹配时使用的pattern对象（正则表达式）
match.pos					正则表达式搜索文本的开始位置
match.endpos				正则表达式搜索文本的结束位置

match对象的方法

match.group(0) 				获得匹配后的字符串
match.start() 				匹配字符串在原始字符串的开始位置
match.end()					匹配字符串在原始字符串的结束位置
match.span()				返回（.start().end()）

示例：

import re
pat = re.compile(r'[1-9]\d{5}')
match = pat.search("MUST100098")
print(match.re)
print(match.string)
print(match.start())

Re库的贪婪匹配和最小匹配

Re库默认采用贪婪匹配，即输出匹配最长的字符串

import re
match  = re.search(r'PY.*N','PYANBNCNDN')
print(match.group())

//在*后面加一个?即可实现最小匹配
match  = re.search(r'PY.*?N','PYANBNCNDN')
print(match.group())