Python第十四课(正则表达式)
Python第十四课(正则表达式) >>>转到思维导图>>>转到中二青年
正则表达式与re模块的关系
1.正则表达式是一门独立的技术，任何语言均可使用
2.python中要想使用正则表达式需要通过re模块
正则表达式应用场景
推荐书籍：正则指引
1.爬虫
2.数据分析
字符组概念
在同一个位置可能出现的各种字符组成了一个字符组，在正则表达式中用[]表示(一个字符组每次只能匹配一个字符)
小例子
匹配0-9数字([0123456789]也支持简写[0-9])(如果想匹配横杠,转义即可) 匹配A-Z字母(依据上面的简写规则[A-Z]) 匹配a-z字母(依据上面的简写规则[a-z]) ps:这种上面到上面的范围必须是从小到大[a-Z]不行，[A-z]可以(但是内部有几个特殊符号)，因为内部对应的asicc码A在所有字母里面最小，z在所有字母里面最大
| 正则 | 待匹配字符 | 匹配结果 | 说明 |
| [0123456789] | 8 | True | 在一个字符组里枚举合法的所有字符，字符组里的任意一个字符 和"待匹配字符"相同都视为可以匹配 |
| [0123456789] | a | False |
由于字符组中没有"a"字符，所以不能匹配 |
| [0-9] | 7 | True |
也可以用-表示范围,[0-9]就和[0123456789]是一个意思 |
| [a-z] | s | True |
同样的如果要匹配所有的小写字母，直接用[a-z]就可以表示 |
| [A-Z] | B | True |
[A-Z]就表示所有的大写字母 |
| [0-9a-fA-f] | e | True |
可以匹配数字，大小写形式的a～f，用来验证十六进制字符 |
字符
|
元字符 |
匹配内容 |
| . | 匹配除换行符以外的任意字符 |
| \w | 匹配字母或数字或下划线 |
| \s | 匹配任意的空白符 |
| \d | 匹配数字 |
| \n | 匹配一个换行符 |
| \t | 匹配一个制表符 |
| \b | 匹配一个单词的结尾 |
| ^ | 匹配字符串的开始 |
| $ | 匹配字符串的结尾 |
| \W |
匹配非字母或数字或下划线 |
| \D |
匹配非数字 |
| \S |
匹配非空白符 |
| a|b |
匹配字符a或字符b |
| () |
匹配括号内的表达式，也表示一个组 |
| [...] |
匹配字符组中的字符 |
| [^...] |
匹配除了字符组中字符的所有字符 |
^:以什么什么开头 $:以什么什么结尾 ps:^与$连用能够精准匹配固定长度的目标字符,^只能出现在开头()，$只能出现结尾 |:或 ab|abc优先匹配前面的正则表达式ab，匹配上就不再用后面的abc，可以通过调换顺序修改优先级 ^:出现在[]中的^表示除了^后面的其他都匹配 [^a]除了a其他都匹配[^a-z]除了小写字母a-z其他都匹配
量词
|
量词 |
用法说明 |
| * | 重复零次或更多次 |
| + | 重复一次或更多次 |
| ? | 重复零次或一次 |
| {n} | 重复n次 |
| {n,} | 重复n次或更多次 |
| {n,m} | 重复n到m次 |
.^$
| 正则 | 待匹配字符 | 匹配结果 | 说明 |
| 海. | 海燕海娇海东 | 海燕海娇海东 | 匹配所有"海."的字符 |
| ^海. | 海燕海娇海东 | 海燕 | 只从开头匹配"海." |
| 海.$ | 海燕海娇海东 | 海东 | 只匹配结尾的"海.$" |
.+?{}
| 正则 | 待匹配字符 | 匹配结果 | 说明 |
| 李.? | 李杰和李莲英和李二棍子 |
李杰 李莲 李二 |
?表示重复零次或一次，即只匹配"李"后面一个任意字符 |
| 李.* | 李杰和李莲英和李二棍子 | 李杰和李莲英和李二棍子 |
*表示重复零次或多次，即匹配"李"后面0或多个任意字符 |
| 李.+ | 李杰和李莲英和李二棍子 | 李杰和李莲英和李二棍子 |
+表示重复一次或多次，即只匹配"李"后面1个或多个任意字 |
| 李.{1,2} | 李杰和李莲英和李二棍子 |
李杰和 李莲英 李二棍 |
{1,2}匹配1到2次任意字符 |
字符集[] [^]
| 正则 | 待匹配字符 | 匹配结果 | 说明 |
| 李[杰莲英二棍子]* | 李杰和李莲英和李二棍子 |
李杰 李莲英 李二棍子 |
表示匹配"李"字后面[杰莲英二棍子]的字符任意次 |
| 李[^和]* | 李杰和李莲英和李二棍子 |
李杰 李莲英 李二棍子 |
表示匹配一个不是"和"的字符任意次 |
| [\d] | 456bdha3 |
4 5 6 3 |
表示匹配任意一个数字，匹配到4个结果 |
| [\d]+ | 456bdha3 |
456 3 |
表示匹配任意个数字，匹配到2个结果 |
分组 ()与 或 | [^]
身份证号码是一个长度为15或18个字符的字符串，如果是15位则全部?️数字组成，首位不能为0；如果是18位，则前17位全部是数字，末位可能是数字或x，下面我们尝试用正则来表示：
| 正则 | 待匹配字符 | 匹配结果 | 说明 |
| ^[1-9]\d{13,16}[0-9x]$ | 110101198001017032 | 110101198001017032 | 表示可以匹配一个正确的身份证号 |
| ^[1-9]\d{13,16}[0-9x]$ | 1101011980010170 | 1101011980010170 |
表示也可以匹配这串数字，但这并不是一个正确的身份证号码，它是一个16位的数 |
| ^[1-9]\d{14}(\d{2}[0-9x])?$ | 1101011980010170 | False |
现在不会匹配错误的身份证号了 ()表示分组，将\d{2}[0-9x]分成一组，就可以整体约束他们出现的次数为0-1次 |
| ^([1-9]\d{16}[0-9x]|[1-9]\d{14})$ | 110105199812067023 | 110105199812067023 |
表示先匹配[1-9]\d{16}[0-9x]如果没有匹配上就匹配[1-9]\d{14} |
转义符 \
在正则表达式中，有很多有特殊意义的是元字符，比如\n和\s等，如果要在正则中匹配正常的"\n"而不是"换行符"就需要对"\"进行转义，变成'\\'。
在python中，无论是正则表达式，还是待匹配的内容，都是以字符串的形式出现的，在字符串中\也有特殊的含义，本身还需要转义。所以如果匹配一次"\n",字符串中要写成'\\n'，那么正则里就要写成"\\\\n",这样就太麻烦了。这个时候我们就用到了r'\n'这个概念，此时的正则是r'\\n'就可以了。
| 正则 | 待匹配字符 | 匹配结果 | 说明 |
| \n | \n | False |
因为在正则表达式中\是有特殊意义的字符，所以要匹配\n本身，用表达式\n无法匹 |
| \\n | \n | True |
转义\之后变成\\，即可匹配 |
| "\\\\n" | '\\n' | True |
如果在python中，字符串中的'\'也需要转义，所以每一个字符串'\'又需要转义一 |
| r'\\n' | r'\n' | True |
在字符串之前加r，让整个字符串不转义 |
贪婪匹配与非贪婪匹配(惰性匹配)
贪婪匹配：在满足匹配时，匹配尽可能长的字符串，默认情况下，采用贪婪匹配
| 正则 | 待匹配字符 | 匹配结果 | 说明 |
| <.*> | <script>...<script> | <script>...<script> |
默认为贪婪匹配模式，会匹配尽量长的字符 |
| <.*?> | r'\d' |
<script> <script> |
加上？为将贪婪匹配模式转为非贪婪匹配模式，会匹配尽量短的字符串 |
<.*>:先拿着里面的.*去匹配所有的内容，然后再根据>往回退着找，遇到即停止
<.*?>:先拿着?后面的>去匹配符合条件的最少的内容,然后把匹配的结果返回
.*?x就是取前面任意长度的字符，直到一个x出现
re模块的使用
findall
import re res = re.findall('[a-z]+','eva egon jason') # findall('正则表达式','带匹配的字符串') print(res) #找出字符串中符合正则表达式全部内容 并且返回的是一个列表,列表中的元素就是正则匹配到的结果
search
import re res = re.search('a','eva egon jason') # search('正则表达式','带匹配的字符串') print(res) # search不会给你直接返回匹配到的结果 而是给你返回一个对象 print(res.group()) # 必须调用group才能看到匹配到的结果 """ 注意: 1.search只会依据正则查一次 只要查到了结果 就不会再往后查找 2.当查找的结果不存在的情况下 调用group直接报错 """
match
import re res = re.search('a','eva egon jason') # search('正则表达式','带匹配的字符串') print(res) # search不会给你直接返回匹配到的结果 而是给你返回一个对象 print(res.group()) # 必须调用group才能看到匹配到的结果 """ 注意: 1.search只会依据正则查一次 只要查到了结果 就不会再往后查找 2.当查找的结果不存在的情况下 调用group直接报错 """
其他方法
ret = re.split('[ab]', 'abcd') # 先按'a'分割得到''和'bcd',在对''和'bcd'分别按'b'分割 print(ret) # ['', '', 'cd'] ret = re.sub('\d', 'H', 'eva3egon4yuan4', 1) # 将数字替换成'H'，参数1表示只替换1个 print(ret) # evaHegon4yuan4 ret = re.subn('\d', 'H', 'eva3egon4yuan4') # 将数字替换成'H'，返回元组(替换的结果,替换了多少次) print(ret) obj = re.compile('\d{3}') #将正则表达式编译成为一个 正则表达式对象，规则要匹配的是3个数字 ret = obj.search('abc123eeee') #正则表达式对象调用search，参数为待匹配的字符串 print(ret.group()) #结果 ： 123 import re ret = re.finditer('\d', 'ds3sy4784a') #finditer返回一个存放匹配结果的迭代器 print(ret) # <callable_iterator object at 0x10195f940> print(next(ret).group()) #查看第一个结果 print(next(ret).group()) #查看第二个结果 print([i.group() for i in ret]) #查看剩余的左右结果
分组优先机制
import re res = re.search('^[1-9]\d{14}(\d{2}[0-9x])?$',110105199812067023) print(res.group()) print(res.group(1)) # 获取正则表达式括号阔起来分组的内容 print(res.group(2)) # search与match均支持获取分组内容的操作 跟正则无关是python机制 # 而针对findall它没有group取值的方法，所以它默认就是分组优先获取的结果 ret = re.findall('www.(baidu|oldboy).com', 'www.oldboy.com') print(ret) # ['oldboy'] 这是因为findall会优先把匹配结果组里内容返回,如果想要匹配结果,取消权限即可 ret = re.findall('www.(?:baidu|oldboy).com', 'www.oldboy.com') # ?:取消分组优先 print(ret) # ['www.oldboy.com']
补充
import re ret = re.search("<(?P<tag_name>\w+)>\w+</(?P=tag_name)>","<h1>hello</h1>") #还可以在分组中利用?<name>的形式给分组起名字 #获取的匹配结果可以直接用group('名字')拿到对应的值 print(ret.group('tag_name')) #结果 ：h1 print(ret.group()) #结果 ：<h1>hello</h1> """ 注意?P=tag_name相当于引用之前正则表达式，并且匹配到的值必须和前面的正则表达式一模一样 """ # 匹配整数 ret=re.findall(r"\d+","1-2*(60+(-40.35/5)-(-4*3))") print(ret) #['1', '2', '60', '40', '35', '5', '4', '3'] ret=re.findall(r"\d+\.\d*|(\d+)","1-2*(60+(-40.35/5)-(-4*3))") print(ret) #['1', '2', '60', '', '5', '4', '3'] ret.remove("") print(ret) #['1', '2', '60', '5', '4', '3']
END
