爬虫——正则表达式爬取豆瓣电影TOP前250的中英文名

------------恢复内容开始------------

正则表达式爬取豆瓣电影TOP前250的中英文名

1、首先要实现网页的数据的爬取。新建test.py文件

test.py

import requests

def get_Html_text(url,p):
    try:
        h= {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88 Safari/537.36 Edg}#User-Agent随便进入一个网页F12->Network->选择xxx?xxx，找到自己的User-Agent复制粘贴就好了

        r = requests.get(url,params=p,headers=h)
        r.raise_for_status()
        r.encoding=r.apparent_encoding
        return r.text
    except:
        return 'error'



if __name__=='__main__':
    url = 'https://movie.douban.com/top250'
    for i in range(0,226,25):#实现循环爬取
       p={'start':str(i),'filter':''}
       html_text=get_Html_text(url,p)
       if html_text!='error':
           with open('c.txt','at',encoding='utf-8') as f:#将文件爬取到的文件写入c.txt中
               f.write(html_text)
               

 2、利用正则表达式规则对爬取到的数据进行筛选，当前我们仅需要中文电影名与英文电影名。

test2.py

import re#这里我们需要导入re
with open ('c.txt','rt',encoding='utf-8')as f:
    html_text=f.read()
pat=re.compile(r'<span class="title">(.*?)</span>.*?<span class="title">&nbsp;/&nbsp;(.*?)</span>',re.S)
mats=pat.finditer(html_text)
for i in mats:
    print(i.group(1),i.group(2))

3、运行结果

 

 

 

 

 

 

 

------------恢复内容结束------------