摘要：
1，安装jdk8 java下载地址 如下图： jdk-8u121-windows-x64.exe 安装好了后，配置环境变量 CLASSPATH .;%JAVA_HOME%\lib\dt.jar;%JAVA_HOME%\lib\tools.jar JAVA_HOME C:\Program Files\ 阅读全文
posted @ 2018-09-04 20:22
孙龙-程序员
阅读(595)
评论(0)
推荐(0)
摘要：
安装Chromeium: 去这个地方：https://sites.google.com/a/chromium.org/chromedriver/downloads 下载ChromeDriver驱动放在/usr/bin/目录下： 完成结果如下： 安装XVFB： 新建在/usr/bin/ 一个名叫 xv 阅读全文
posted @ 2018-09-03 14:10
孙龙-程序员
阅读(228)
评论(0)
推荐(0)
摘要：
使用fake-useragent：https://github.com/hellysmile/fake-useragent这是一个可以随机切换访问头的插件 安装方法： 使用方法： 写一个随机更换user-agent的Downloader Middleware，新的middlewares.py代码如下 阅读全文
posted @ 2018-09-02 23:51
孙龙-程序员
阅读(307)
评论(0)
推荐(0)
摘要：
requests Python标准库中提供了：urllib、urllib2、httplib等模块以供Http请求，但是，它的 API 太渣了。它是为另一个时代、另一个互联网所创建的。它需要巨量的工作，甚至包括各种方法覆盖，来完成最简单的任务。 Requests 是使用 Apache2 License 阅读全文
posted @ 2018-09-02 22:36
孙龙-程序员
阅读(189)
评论(0)
推荐(0)
摘要：
1.常用功能 面几个函数都有spider参数，spider有name属性，是爬虫的名字，当一个文件里有多个spider和多个Pipeline类时可以通过这个来确保spider与Pipeline类对应起来。 2.DropItem 如果抓取到的房子价格为空，就可以用此方法丢掉。 当有多个pipeline 阅读全文
posted @ 2018-09-02 20:37
孙龙-程序员
阅读(358)
评论(0)
推荐(0)
摘要：
scrapy提供了一个强大的工具类ItemLoader，本文通过一个实例介绍一些常用用法。 以链家的一个具体房源为目标，页面大概长这样的 我们的目标是提取出红框中的信息。 编写items 编写spider ItemLoader有三个常用的函数，add_xpath，add_css，add_value， 阅读全文
posted @ 2018-09-02 20:27
孙龙-程序员
阅读(154)
评论(0)
推荐(0)
摘要：
processor scrapy提供了一个processors类，里面有下列几种方法:Join,TakeFirst,MapCompose,Compose,Identity,SelectJmes 对这几种方法的用法简单介绍一下： TakeFirst是取第一个不为空的元素 input--output I 阅读全文
posted @ 2018-09-02 19:54
孙龙-程序员
阅读(268)
评论(0)
推荐(0)
摘要：
前面学习了python爬虫：scrapy框架xpath和css选择器语法 接下来学习爬虫爬取网页： Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 其可以应用在数据挖掘，信息处理或存储历史数据等一系列的程序中。其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的， 也可以 阅读全文
posted @ 2018-08-31 10:58
孙龙-程序员
阅读(328)
评论(0)
推荐(0)
摘要：
Xpath基本语法 一、常用的路径表达式： 举例元素标签为artical标签 二、谓语 谓语被嵌在方括号内，用来查找某个特定的节点或包含某个制定的值的节点 三、通配符 Xpath通过通配符来选取未知的XML元素 四、取多个路径 使用“|”运算符可以选取多个路径 五、Xpath轴 轴可以定义相对于当前 阅读全文
posted @ 2018-08-29 22:54
孙龙-程序员
阅读(388)
评论(0)
推荐(0)
摘要：
安装：http://www.cnblogs.com/wupeiqi/articles/6229292.htmlLinuxpip3 install scrapyWindowsa. pip3 install wheelb. 下载twisted http://www.lfd.uci.edu/~gohlke 阅读全文
posted @ 2018-08-29 18:41
孙龙-程序员
阅读(120)
评论(0)
推荐(0)
浙公网安备 33010602011771号