爬虫需要安装的模块

pip install lxml

pip install requests

pip install BeautifulSoup4

pip install pymysql  （需要安装MySQL）

pip install pymongo  （需要安装MongoDB）

pip install selenium  （需要配合selenium的浏览器驱动，建议谷歌或者火狐）

pip install fontTools  （需要下载FontCreator）

pip install Pillow  （图像处理模块）

pip install Twisted

pip install scrapy

pip install pyexecjs  （用来执行js代码）

 

未完待续……