爬取豆瓣电影

1.分析url

 

 

 通过request获取页面

 

 

 

 

 

 通过正则表达式获取类型列表

 

 

 

 

 

 

 

 

 成功获取分类后，开始获取单独一个分类下的信息

 

对比后可以看出type_name为分类，更改此项即可进入不同类型的网站

接下来获取不同分类下的电影信息

通过操作可以看出电影显示方式是通过下拉窗口然后发送请求更新内容

通过对比url

https://movie.douban.com/j/chart/top_list?type=11&interval_id=100%3A90&action=&start=20&limit=20

https://movie.douban.com/j/chart/top_list?type=11&interval_id=100%3A90&action=&start=40&limit=20

https://movie.douban.com/j/chart/top_list?type=11&interval_id=100%3A90&action=&start=60&limit=20

可以看出一次start有所变化

 

通过传送start值获取start起的后20部电影

 

通过拼接url，在读取url返回一个字典

最后遍历字典保存数据在movie_list中 

最后将字典数据保存在本地中