1 # -*- condeing = utf-8 -*-
2 # @Time:2021/7/19 20:40
3 # @Author : lmb
4 # @File:.py
5 # @Software:
6
7 import urllib.request,urllib.error
8 import re
9 from bs4 import BeautifulSoup
10
11 #爬取多条(实例：豆瓣TOP250)
12 def GetUrl(baseurl):
13 #1.爬取网页
14 for i in range(0,10):
15 url=baseurl+str(i*25)#根据网页网址的规律例如：start=0?
16 html=AskUrl(url)#保存获取的网页源码
17
18 #2.逐一解析数据
19 soup=BeautifulSoup(html,"html.parser")
20 for item in soup.find_all('div',class_="hd"):#div里class为“hd”的，其实也就是所需要的数据所在的标签区
21 #print(item)
22 data=[] #保存一部电影的信息
23 item=str(item)#将其转换为string类型
24
25
26 name=re.findall(findName,item)[0] #[0]的意思是只要提取每个标签的出现的第一个相匹配的
27 print(name)#打印出爬取的电影名称
28
29
30 #爬取网页
31 def AskUrl(url):#获取html源码
32 #模拟浏览器读取网页
33 head={"User-Agent":"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/93.0.4542.2 Safari/537.36"}
34 reqs=urllib.request.Request(url,headers=head)#对其进行封装
35 html="";
36 try:
37 resposed=urllib.request.urlopen(reqs)#打开request封装好的reps
38 html=resposed.read().decode("utf-8")#用read()读取
39
40
41 except urllib.error.URLError as e:#可能会报错的一些情况
42 if hasattr(e,"code"):
43 print(e.code)
44 if hasattr(e,"reason"):
45 print(e.reson)
46 return html#必须返回一个读取出来的对象
47
48 if __name__ == '__main__':
49
50 findName=re.compile(r'<span class="title">(.*?)</span>')#获取电影名的正则表达式
51 GetUrl("https://movie.douban.com/top250?start=")#用GetUrl的方法,得到爬取的排名前250的电影名称
初写 如果大家发现内容有错误的地方可联系我及时改正 麻烦啦！
创作不易，多多支持~
觉得有用的点个赞关个注再走呗~
作者：黎哈哈
