摘要：一.介绍 Scrapy，Python开发的一个快速、高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试。 Scrapy吸引人的地方在于它是一个框架，任何人都可以根据需求方便的修改。它也提供了多种类型爬虫的基类，如B 阅读全文

摘要：一.介绍 1.什么是selenium？ 二.安装 #安装：selenium+chromedriver pip3 install selenium 下载chromdriver.exe放到python安装路径的scripts目录中即可，注意最新版本是2.29，并非2.9 国内镜像网站地址：http:// 阅读全文

摘要：一.介绍 1.介绍 2.简单的引用： 二.GET请求 1.基本的get请求 2.带参数的get请求--params （1）带参数的get用法一（请求内容不含中文） （2）带参数的get用法二（请求内容中含有中文） 如果请求内容中含有中文（URL中含有中文），则需要对中文字符进行编码 方法一：使用ur 阅读全文

摘要：一.什么是爬虫？ 1.爬虫的定义： 向网站发起请求，获取资源后分析并提取有用数据的程序 2.爬虫的价值： 互联网中最有价值的便是数据，比如天猫商城的商品信息，链家网的租房信息，雪球网的证券投资信息等等，这些数据都代表了各个行业的真金白银，可以说，谁掌握了行业内的第一手数据，谁就成了整个行业的主宰，如 阅读全文