py爬虫 —— py爬虫基础re库
python3正则表达式
自从python1.5之后python自带re模块可以使用正则表达式，今天我们来学习一下
re.match
re.match 尝试从字符串的起始位置匹配一个模式，如果不是起始位置匹配成功的话，match()就返回none。
re.match(pattern, string, flags=0)
- pattern —— 匹配的正则表达式
- string —— 要匹配的字符串。
- flags—— 标志位，用于控制正则表达式的匹配方式，如：是否区分大小写，多行匹配等等
正则表达式修饰符 - 可选标志
flags就是从其中选择的
- re.I —— 使匹配对大小写不敏感
- re.L —— 做本地化识别（locale-aware）匹配
- re.M —— 多行匹配，影响 ^ 和 $
- re.S —— 使 . 匹配包括换行在内的所有字符
- re.U —— 根据Unicode字符集解析字符。这个标志影响 \w, \W, \b, \B.
- re.X —— 该标志通过给予你更灵活的格式以便你将正则表达式写得更易于理解。
import re print(re.match('www', 'www.cnblogs.com/Nlifea/').span()) # 在起始位置匹配，span函数是输出匹配字符串的下标序号 print(re.match('com', 'www.cnblogs.com/Nlifea/')) # 不在起始位置匹配
运行结果是这样的
(0, 3)
None
我们可以用group()或groups()匹配对象函数来获取匹配表达式。
- group(num=0) —— 匹配的整个表达式的字符串，group() 可以一次输入多个组号，在这种情况下它将返回一个包含那些组所对应值的元组。
- groups() —— 返回一个包含所有小组字符串的元组，从 1 到 所含的小组号。
import re line = "Cats are smarter than dogs" # .* 表示任意匹配除换行符（\n、\r）之外的任何单个或多个字符 matchObj = re.match('(.*) are (.*?) .*', line, re.M | re.I) if matchObj: print("matchObj.group() : ", matchObj.group()) print("matchObj.group(1) : ", matchObj.group(1)) print("matchObj.group(2) : ", matchObj.group(2)) else: print("No match!!")
以上实例执行结果如下：
matchObj.group() : Cats are smarter than dogs matchObj.group(1) : Cats matchObj.group(2) : smarter
re.search
re.search 扫描整个字符串并返回第一个成功的匹配。
函数语法：
re.search(pattern, string, flags=0)
函数参数完全类同re.match的
import re print(re.search('www', 'www.cnblogs.com/Nlifea/').span()) print(re.search('com', 'www.cnblogs.com/Nlifea/').span())
运行结果为
(0, 3)
(12, 15)
search函数也可以使用group()并且语法一致
#!/usr/bin/python3 import re line = "Cats are smarter than dogs"; searchObj = re.search( r'(.*) are (.*?) .*', line, re.M|re.I) if searchObj: print ("searchObj.group() : ", searchObj.group()) print ("searchObj.group(1) : ", searchObj.group(1)) print ("searchObj.group(2) : ", searchObj.group(2)) else: print ("Nothing found!!")
以上实例执行结果如下：
searchObj.group() : Cats are smarter than dogs searchObj.group(1) : Cats searchObj.group(2) : smarter
re.match与re.search的区别
re.match只匹配字符串的开始，如果字符串开始不符合正则表达式，则匹配失败，函数返回None；而re.search匹配整个字符串，直到找到一个匹配。
import re line = 'Cat are smarter than dogs' ; matchObj = re.match(r'digs' ,line ,re.M|re.I ) ; if matchObj: print("match -- > matchObj.group() : " ,matchObj.group()) else: print("No match!!") researchObj = re.search(r'dogs' ,line ,re.M|re.I) ; if researchObj: print("search -- > matchObj.group : " , researchObj.group()) else: print("No match!!")
结果为
No match!!
search -- > matchObj.group : dogs
检索和替换
Python 的re模块提供了re.sub用于替换字符串中的匹配项。
语法：
re.sub(pattern, repl, string, count=0, flags=0)
参数：
- pattern : 正则中的模式字符串。
- repl : 替换的字符串，也可为一个函数。
- string : 要被查找替换的原始字符串。
- count : 模式匹配后替换的最大次数，默认 0 表示替换所有的匹配。
- flags : 编译时用的匹配模式，数字形式。
前三个为必选参数，后两个为可选参数。
import re phone = "200-6456-848 #这是一个电话号码" num = re.sub(r'#.*$',"",phone ) print(num) num = re.sub(r'\D',"",num) print(num)
结果是
200-6456-848 2006456848
关于 \D 请看这里 正则表达式模式 ；
compile 函数
compile 函数用于编译正则表达式，生成一个正则表达式（ Pattern ）对象，供 match() 和 search() 这两个函数使用。
语法格式为：
re.compile(pattern[, flags])
参数：
- pattern : 一个字符串形式的正则表达式
- flags 可选，表示匹配模式，比如忽略大小写，多行模式等，具体参数为：
flags的具体内容请看 正则表达式修饰符 - 可选标志
import re pattern = re.compile(r'\d+') m = pattern.match('one12twothree34four') print(m) m = pattern.match('one12twothree34four',2,10) print(m) m = pattern.match('one12twothree34four',3,10) print(m) print(m.group(0)) print(m.start(0)) print(m.end(0)) print(m.span(0))
结果是：
None None <_sre.SRE_Match object; span=(3, 5), match='12'> 12 3 5 (3, 5)
在上面，当匹配成功时返回一个 Match 对象，其中：
group([group1, …])方法用于获得一个或多个分组匹配的字符串，当要获得整个匹配的子串时，可直接使用group()或group(0)；start([group])方法用于获取分组匹配的子串在整个字符串中的起始位置（子串第一个字符的索引），参数默认值为 0；end([group])方法用于获取分组匹配的子串在整个字符串中的结束位置（子串最后一个字符的索引+1），参数默认值为 0；span([group])方法返回(start(group), end(group))。
findall
在字符串中找到正则表达式所匹配的所有子串，并返回一个列表，如果没有找到匹配的，则返回空列表。
注意： match 和 search 是匹配一次 findall 匹配所有。
语法格式为：
re.findall(string[, pos[, endpos]])
参数：
- string —— 待匹配的字符串。
- pos —— 可选参数，指定字符串的起始位置，默认为 0。
- endpos —— 可选参数，指定字符串的结束位置，默认为字符串的长度。
import re pattern = re.compile(r'\d+') res = pattern.findall('runoob 123 google 456') res1 = pattern.findall('run88oob123google456', 0, 10) print(res) print(res1)
结果：
['123', '456'] ['88', '12']
re.split
split 方法按照能够匹配的子串将字符串分割后返回列表，它的使用形式如下：
re.split(pattern, string[, maxsplit=0, flags=0])
参数：
- pattern —— 匹配的正则表达式
- string —— 要匹配的字符串。
- maxsplit —— 分隔次数，maxsplit=1 分隔一次，默认为 0，不限制次数。
- flags —— 标志位，用于控制正则表达式的匹配方式，如：是否区分大小写，多行匹配等等。
import re print(re.split('\W+','runoob, runoob, runoob.')) print(re.split('(\W+)','runoob, runoob, runoob.')) print(re.split('a*', 'hello world'))
结果是：
['runoob', 'runoob', 'runoob', ''] ['runoob', ', ', 'runoob', ', ', 'runoob', '.', ''] ['hello world']
re库中正则表达式的对象
re.RegexObject
re.compile() 返回 RegexObject 对象。
re.MatchObject
group() 返回被 RE 匹配的字符串。
- start() —— 返回匹配开始的位置
- end() —— 返回匹配结束的位置
- span() —— 返回一个元组包含匹配 (开始,结束) 的位置
