摘要：
使用fake-useragent：https://github.com/hellysmile/fake-useragent这是一个可以随机切换访问头的插件 安装方法： 使用方法： 写一个随机更换user-agent的Downloader Middleware，新的middlewares.py代码如下 阅读全文
posted @ 2018-09-02 23:51
孙龙-程序员
阅读(290)
评论(0)
推荐(0)
摘要：
requests Python标准库中提供了：urllib、urllib2、httplib等模块以供Http请求，但是，它的 API 太渣了。它是为另一个时代、另一个互联网所创建的。它需要巨量的工作，甚至包括各种方法覆盖，来完成最简单的任务。 Requests 是使用 Apache2 License 阅读全文
posted @ 2018-09-02 22:36
孙龙-程序员
阅读(186)
评论(0)
推荐(0)
摘要：
1.常用功能 面几个函数都有spider参数，spider有name属性，是爬虫的名字，当一个文件里有多个spider和多个Pipeline类时可以通过这个来确保spider与Pipeline类对应起来。 2.DropItem 如果抓取到的房子价格为空，就可以用此方法丢掉。 当有多个pipeline 阅读全文
posted @ 2018-09-02 20:37
孙龙-程序员
阅读(345)
评论(0)
推荐(0)
摘要：
scrapy提供了一个强大的工具类ItemLoader，本文通过一个实例介绍一些常用用法。 以链家的一个具体房源为目标，页面大概长这样的 我们的目标是提取出红框中的信息。 编写items 编写spider ItemLoader有三个常用的函数，add_xpath，add_css，add_value， 阅读全文
posted @ 2018-09-02 20:27
孙龙-程序员
阅读(148)
评论(0)
推荐(0)
摘要：
processor scrapy提供了一个processors类，里面有下列几种方法:Join,TakeFirst,MapCompose,Compose,Identity,SelectJmes 对这几种方法的用法简单介绍一下： TakeFirst是取第一个不为空的元素 input--output I 阅读全文
posted @ 2018-09-02 19:54
孙龙-程序员
阅读(259)
评论(0)
推荐(0)
浙公网安备 33010602011771号