摘要：爬虫主要利用基础知识：scrapy vs requests + beautifulsoup 使用scrapy是一个框架，而requests+beautifulsoup都是库 注：webservice（restapi）实际上也是动态网页的一种 PS：垂直领域搜索引擎，特指搜索某个领域的数据，比如汽车、 阅读全文

摘要：ubuntu16已经安装好了py2和py3（自带的） 我要用的是py3，所以安装virtulenv+virtualenvwrapper，我用的是pip3，使用：apt-get install python3-pip 可以完成 通过pip安装virtualenv： $ pip3 install vir 阅读全文