休耕

摘要： 一、分布式爬虫介绍 分布式爬虫概念：多台机器上执行同一个爬虫程序，实现网站数据的分布爬取。 1、原生的Scrapy无法实现分布式爬虫的原因？ 调度器无法在多台机器间共享 ：因为多台机器上部署的scrapy会各自拥有各自的调度器，这样就使得多台机器无法分配start_urls列表中的url。 管道无法 阅读全文

摘要： 针对问题：如果想对某一个网站的全站数据进行爬取，该如何处理？ 解决方案： 1. 手动请求的发送：基于Scrapy框架中的Spider的递归爬取进行实现（Request模块递归回调parse方法） 2. CrawlSpider：基于CrawlSpider的自动爬取进行实现（更加简洁和高效） 一、Cra 阅读全文

摘要： 一、Scrapy的日志等级 在使用scrapy crawl spiderFileName运行程序时，在终端里打印输出的就是scrapy的日志信息。 1、日志等级（信息种类） ERROR：错误 WARNING：警告 INFO：一般信息 DEBUG：调试信息（默认） 2、设置日志信息指定输出 在sett 阅读全文

摘要： Cookie 是在 HTTP 协议下，服务器或脚本可以维护客户工作站上信息的一种方式。Cookie 是由 Web 服务器保存在用户浏览器（客户端）上的小文本文件，它可以包含有关用户的信息。无论何时用户链接到服务器，Web 站点都可以访问 Cookie 信息cookie需要个人用户登录网站。 场景需求 阅读全文

摘要： 一、介绍 持久化存储操作分为两类： 磁盘文件 和 数据库 。 而磁盘文件存储方式又分为： 基于终端指令 和 基于管道 二、基于终端指令的持久化存储 Scrapy是通过 scrapy 命令行工具进行控制的。 这里我们称之为 “Scrapy tool” 以用来和子命令进行区分。 对于子命令，我们称为 “ 阅读全文

摘要： 一、Scrapy介绍 1、Scrapy是什么 Scrapy 是一个开源和协作的框架，其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的，使用它可以以快速、简单、可扩展的方式从网站中提取所需的数据。但目前Scrapy的用途十分广泛，可用于如数据挖掘、监测和自动化测试等领域，也可以应用在获取AP 阅读全文

摘要： 一、selenlum介绍 selenium这个三方库，最初是一个自动化测试工具，可以实现让浏览器完成自动化的操作。 selenium本质是通过驱动浏览器，完全模拟浏览器的操作，比如跳转、输入、点击、下拉等，来拿到网页渲染之后的结果，可支持多种浏览器。 而爬虫中使用它主要是为了解决 requests无 阅读全文

摘要： 一、lxml介绍 第三方库lxml是第一款表现出高性能特征的python xml库，天生支持Xpath1.0、XSLT1.0、定制元素类，甚至python风格的数据绑定接口。lxml是通过Cpython实现的，构建在两个C库上（libxml2和libxslt），为执行解析、序列化、转换等核心任务提供 阅读全文

摘要： 一、urllib介绍 urllib是python中自带的一个基于爬虫的模块， 作用：urllib 模块是一个高级的 web 交流库，其核心功能就是模仿web浏览器等客户端，去请求相应的资源，并返回一个类文件对象。可以使用代码模拟浏览器发起请求。 详见官网资料：2.7.5：urllib — Open 阅读全文

摘要： 一、Jupyter Notebook介绍 1、什么是Jupyter Notebook Jupyter Notebook是基于网页的用于交互计算的应用程序。其可被应用于全过编码开发、文档编写、运行代码和展示结果。——Jupyter Notebook官方介绍。 简而言之，Jupyter Notebook 阅读全文