爬虫 主要基础知识

爬虫主要利用基础知识：scrapy vs requests + beautifulsoup

使用scrapy是一个框架，而requests+beautifulsoup都是库

 

 

注：webservice（restapi）实际上也是动态网页的一种

 

 PS：垂直领域搜索引擎，特指搜索某个领域的数据，比如汽车、房地产。 推荐引擎

机器学习的数据样本：很多人在研究机器学习，但机器学习需要大量的数据样本，通过爬虫可以获取。

 

 

PS:http://www.lfd.uci.edu/~gohlke/pythonlibs/

如果python的一些模块不能pip install成功，可以去这个网址里下载。