python3爬虫开发实战 第五课 常用库的安装

1.  urllib    re     python系统自带的

2.  Requests 请求库（pip install requests )

3. selenium   驱动浏览器的库（pip install selenium)

4. phantomjs 无界面浏览器的库(https://www.sohu.com/a/224999034_100122143)

用Python做爬虫的各位，不要再用PhantomJS了 

5. lxml  安装 pip install lxml

6. beautifulsoup 安装 pip install beautifulsoup4

7. pyquery  安装 pip install pyquery  

8. pymysql  安装 pip install pymysql  

9. pymongo  安装 pip install pymongo  

10. redis 安装  pip install redis 

11. flask 安装  pip install flask :

  如何用 Flask 反向代理服务器内部不同端口的监控页面/数据

req = requests.get(base_url + '/' + url, params=request.args, stream=True) 

return Response(stream_with_context(req.iter_content()), content_type=req.headers['content-type'])

12. django 安装  pip install django 

13. jupyter  安装  pip install jupyter  （编写文档）