摘要：原文地址https://www.cnblogs.com/zhaof/p/7406482.html 因为现在很多网站为了限制爬虫，设置了为只有登录才能看更多的内容，不登录只能看到部分内容，这也是一种反爬虫的手段，所以这个文章通过模拟登录知乎来作为例子，演示如何通过scrapy登录知乎 在通过scrap 阅读全文
Python爬虫从入门到放弃（二十三）之 Scrapy的中间件Downloader Middleware实现User-Agent随机切换
2019-01-27 00:52 by 清风软件测试开发, 525 阅读, 0 推荐, 收藏,
摘要：原文地址https://www.cnblogs.com/zhaof/p/7345856.html 总架构理解Middleware 通过scrapy官网最新的架构图来理解： 这个图较之前的图顺序更加清晰，从图中我们可以看出，在spiders和ENGINE提及ENGINE和DOWNLOADER之间都可以 阅读全文
Python爬虫从入门到放弃（二十二）之 爬虫与反爬虫大战
2019-01-27 00:50 by 清风软件测试开发, 642 阅读, 0 推荐, 收藏,
摘要：原文地址https://www.cnblogs.com/zhaof/p/7326260.html 爬虫与发爬虫的厮杀，一方为了拿到数据，一方为了防止爬虫拿到数据，谁是最后的赢家？ 重新理解爬虫中的一些概念 爬虫:自动获取网站数据的程序反爬虫：使用技术手段防止爬虫程序爬取数据误伤：反爬虫技术将普通用户 阅读全文
Python爬虫从入门到放弃（二十一）之 Scrapy分布式部署
2019-01-27 00:49 by 清风软件测试开发, 435 阅读, 0 推荐, 收藏,
摘要：原文地址https://www.cnblogs.com/zhaof/p/7308865.html 按照上一篇文章中我们将代码放到远程主机是通过拷贝或者git的方式，但是如果考虑到我们又多台远程主机的情况，这种方式就比较麻烦，那有没有好用的方法呢？这里其实可以通过scrapyd,下面是这个scrapy 阅读全文
Python爬虫从入门到放弃（二十）之 Scrapy分布式原理
2019-01-27 00:44 by 清风软件测试开发, 437 阅读, 0 推荐, 收藏,
摘要：原文地址https://www.cnblogs.com/zhaof/p/7306374.html 关于Scrapy工作流程回顾 Scrapy单机架构 上图的架构其实就是一种单机架构，只在本机维护一个爬取队列，Scheduler进行调度，而要实现多态服务器共同爬取数据关键就是共享爬取队列。 这里重要的 阅读全文
Python爬虫从入门到放弃（十九）之 Scrapy爬取所有知乎用户信息(下)
2019-01-27 00:41 by 清风软件测试开发, 425 阅读, 0 推荐, 收藏,
摘要：原文地址https://www.cnblogs.com/zhaof/p/7228131.html 在上一篇文章中主要写了关于爬虫过程的分析，下面是代码的实现，完整代码在：https://github.com/pythonsite/spider items中的代码主要是我们要爬取的字段的定义 这些字段 阅读全文
Python爬虫从入门到放弃（十八）之 Scrapy爬取所有知乎用户信息(上)
2019-01-27 00:39 by 清风软件测试开发, 491 阅读, 0 推荐, 收藏,
摘要：原文地址https://www.cnblogs.com/zhaof/p/7215617.html 爬取的思路 首先我们应该找到一个账号，这个账号被关注的人和关注的人都相对比较多的，就是下图中金字塔顶端的人，然后通过爬取这个账号的信息后，再爬取他关注的人和被关注的人的账号信息，然后爬取被关注人的账号信 阅读全文
Python爬虫从入门到放弃（十七）之 Scrapy框架中Download Middleware用法
2019-01-27 00:27 by 清风软件测试开发, 520 阅读, 0 推荐, 收藏,
摘要：原文地址https://www.cnblogs.com/zhaof/p/7198407.html 这篇文章中写了常用的下载中间件的用法和例子。Downloader Middleware处理的过程主要在调度器发送requests请求的时候以及网页将response结果返回给spiders的时候，所以从 阅读全文
Python爬虫从入门到放弃（十六）之 Scrapy框架中Item Pipeline用法
2019-01-27 00:20 by 清风软件测试开发, 527 阅读, 0 推荐, 收藏,
摘要：原文地址https://www.cnblogs.com/zhaof/p/7196197.html 当Item 在Spider中被收集之后，就会被传递到Item Pipeline中进行处理 每个item pipeline组件是实现了简单的方法的python类，负责接收到item并通过它执行一些行为，同 阅读全文
Python爬虫从入门到放弃（十五）之 Scrapy框架中Spiders用法
2019-01-27 00:19 by 清风软件测试开发, 503 阅读, 0 推荐, 收藏,
摘要：原文地址https://www.cnblogs.com/zhaof/p/7192503.html Spider类定义了如何爬去某个网站，包括爬取的动作以及如何从网页内容中提取结构化的数据，总的来说spider就是定义爬取的动作以及分析某个网页 工作流程分析 我们以通过简单的分析源码来理解我通常在写s 阅读全文
浙公网安备 33010602011771号