爬虫----抽屉新热榜

一、BeautifulSoup4

结果为：

 

二、scrapy---爬取抽屉新热榜

1.首先win+r  打开cmd

2.建立项目文件  如在D盘下的某个文件夹下建立某个文件

　　输入D：后回车

　　输入cd cxf 回车

　　输入dir   查看该目录下的文件

　　输入scrapy startproject 项目名称

　　输入scrapy genspider chouti chouti.com  回车

　　输入scrapy crawl chouti  回车

　　输入scrapy crawl chouti --nolog     回车

3.用Pycharm打开以上建立的文件   

 

 

 4.打开settings.py   将此处的值改为  False      图片上我已修改过

 

5. 在下图框内添加User -Agent(打开抽屉新热榜后，右键 选择检查  点击Network   刷新页面后  点击dig.chouti.com)        

　　

 

 6.保存settings文件  打开chouti.py文件