re模块
一 . 基础方法
import re 永远不要起一个py文件的名字和你已知的模块同名
1. findall 的优先级查询
匹配所有每一项都是列表中的一个元素
import re ret = re.findall("www.(baidu|360).com" , "www.baidu.com") print(ret) 结果: ["baidu"] ret = re.findall("www.(?:baidu|360).com" , "www.baidu.com") print(ret) 结果: ["www.baidu.com"]
2. spilt 的优先级查询
根据正则规则切割
ret=re.split("\d+","eva3egon4yuan") print(ret) #结果 ： ['eva', 'egon', 'yuan'] ret=re.split("(\d+)","eva3egon4yuan") print(ret) #结果 ： ['eva', '3', 'egon', '4', 'yuan'] #在匹配部分加上（）之后所切出的结果是不同的， #没有（）的没有保留所匹配的项，但是有（）的却能够保留了匹配的项， #这个在某些需要保留匹配部分的使用过程是非常重要的。
3. search 的优先级
只匹配从左到右的第一个,得到的不是直接的结果,而是一个变量,通过这个变量的group方法来获取结果
如果没有匹配到,会返回None , 使用group 会报错
ret = re.search("\d",字符串) ret.group() 获取结果 内存地址,这是一个正则匹配的结果
常规样式:
if ret: print(ret.group() )
4. match
从开头匹配,相当于search中的正则表达式加上一个^
ret = re.match("\d+",字符串) = re.search("^\d+",字符串)
5. sub / subn 的替换
sub:re.sub("\d","要替换的",字符串,替换数量)
subn ：返回元组,第二个元素是替换的次数
6.分组命名
ret = re.search(">(?P<名字>\w+)<",字符串)
print(ret.group(名字)) 按名字取值
import re ret = re.search("<(?P<tag_name>\w+)>\w+</(?P=tag_name)>","<h1>hello</h1>") #还可以在分组中利用?<name>的形式给分组起名字 #获取的匹配结果可以直接用group('名字')拿到对应的值 print(ret.group('tag_name')) #结果 ：h1 print(ret.group()) #结果 ：<h1>hello</h1> ret = re.search(r"<(\w+)>\w+</\1>","<h1>hello</h1>") #如果不给组起名字，也可以用\序号来找到对应的组，表示要找的内容和前面的组内容一致 #获取的匹配结果可以直接用group(序号)拿到对应的值 print(ret.group(1)) print(ret.group()) #结果 ：<h1>hello</h1>
7. re 模块的进阶
1. compile
节省你使用正则表达式解决问题的时间
编译 把正则表达式编译成字节码
在多次使用的过程中 不会多次编译
ret = re.compile("\d+") 已经完成编译
2. finditer
节省你使用正则表达式解决问题的空间/内存。
返回一个迭代器,所有的结果都在这个迭代器中,需要通过循环+group的形式取值。
ret = re.finditer("\d+",字符串) print(ret) 内存地址 for i in ret: print(i) 返回的是变量 print(i.group())
8. 取消分组优先
取消分组优先 : (? : 正则表达式)
对于正则表达式来说,有些时候我们需要进行分组,来整体约束某一组字符出现的次数。
对python语言来说 分组可以帮助我们更好更准确的找到我们真正需要的内容。
二 。 分组在re模块中的应用
#使用前面的分组 要求使用这个名字的分组和前面同名分组中的内容匹配的必须一致 pattern = '<(?P<tab>\w+)>(\w+)</(?P=tab)>' ret = re.search(pattern,s) print(ret)
# split ret = re.split('\d+','alex83taibai40egon25') print(ret) ret = re.split('(\d+)','alex83taibai40egon25aa') print(ret)
正则表达式如果写的足够好的话 能够最大限度的简化我们的操作
# 正则表达式到底重要到什么程度
# 掌握作业中的所有内容
# 能够看懂常用的正则表达式
# 并且能够做出一些公司特异性要求的修改
ret=re.findall(r"\d+\.\d+|\d+","1-2*(60+(-40.35/5)-(-4*3))") print(ret) ret=re.findall(r"\d+\.\d+|(\d+)","1-2*(60+(-40.35/5)-(-4*3))") ret.remove('') print(ret)
三 。爬虫的简单实例
import re from urllib.request import urlopen def getPage(url): # 获取网页的字符串 response = urlopen(url) return response.read().decode('utf-8') def parsePage(s): ret = com.finditer(s) # 从s这个网页源码中 找到所有符合com正则表达式规则的内容 并且以迭代器的形式返回 for i in ret: yield { "id": i.group("id"), "title": i.group("title"), "rating_num": i.group("rating_num"), "comment_num": i.group("comment_num"), } def main(num): # 0 25 50 # 这个函数执行10次,每次爬取一页的内容 url = 'https://movie.douban.com/top250?start=%s&filter=' % num response_html = getPage(url) # response_html就是这个url对应的html代码 就是 str ret = parsePage(response_html) # ret是一个生成器 print(ret) f = open("move_info7", "a", encoding="utf8") for obj in ret: print(obj) data = str(obj) f.write(data + "\n") f.close() com = re.compile( '<div class="item">.*?<div class="pic">.*?<em .*?>(?P<id>\d+).*?<span class="title">(?P<title>.*?)</span>' '.*?<span class="rating_num" .*?>(?P<rating_num>.*?)</span>.*?<span>(?P<comment_num>.*?)评价</span>', re.S) count = 0 for i in range(10): main(count) count += 25
