丫丫625202

摘要： 编辑本目录 博文链接 探无止境 浅析APScheduler APScheduler调度器 编辑 阅读全文

摘要： 编辑本随笔 Nginx ebook 删除带#的行 sed -i "/#/d" nginx.conf 有空行的也删除 sed -i "/^$/d" nginx.conf 中文文档 官网下载地址 安装： mv nginx-1.15.5.tar.gz /usr/src/ cd /usr/src/ tar 阅读全文

摘要： 编辑本随笔 时间复杂度：用来评估算法运行效率的一个式子O(n) 空间复杂度：用来评估算法内存占用大小,一维列表O(n),二维列表O(mn) 递归 汉诺塔问题 阅读全文

摘要： 添加新随笔 编辑本目录 算法复杂度 编辑 阅读全文

摘要： 编辑本随笔 爬虫模块 robots协议 处理验证码 数据解析方式 如何爬取动态加载的页面数据 有哪些反扒机制 scrapy中接触过几种爬虫的类 如何实现分布式流程 阅读全文

摘要： 编辑本随笔 bobo博客 UA池和代理池均在下载中间件中实现，中间件中实现后需要到setting文件中开启相关中间件 UA池 版本不一样，导包位置可能不一样from scrapy.downloadermiddlewares.useragent import UserAgentMiddleware 常 阅读全文

摘要： 编辑本随笔 bobo博客 案例需求 爬取网易新闻基于文字的新闻，板块包括国内、国际、军事、航空等四个板块 获取指定板块超链接 从页面中提取需要内容 此处并未提取到内容，因实际内容是动态加载的，所以直接用xpath解析不出内容 # -*- coding: utf-8 -*- import scrapy 阅读全文

摘要： 编辑本随笔 概念：在多台机器上执行同一个爬虫程序，实现网站数据的分布式爬取 原生scrapy不可以实现分布式爬虫，原因如下： 分布式爬虫组件：scrapy-redis，该组件可以让scrapy实现分布式。 分布式爬取流程： 将bind 127.0.0.1注销掉 将保护模式改为no，关闭保护模式，即p 阅读全文

摘要： 编辑本随笔 CrawlSpider概念：CrawlSpider就是Spider的一个类，功能更加强大。包含链接提取器，规则解析器。 代码： # -*- coding: utf-8 -*- import scrapy from scrapy.linkextractors import LinkExtr 阅读全文

摘要： 编辑本随笔 一、Scapy核心组件 引擎：用来处理整个系统的数据流处理，出发事物 管道：负责处理爬虫从网页上提取的实体信息，主要是持久化和验证实体的有效性，清楚不需要的信息。 调度器：接受引擎发过来的请求，由它决定下一个要爬取的网址，去处重复网址 下载器：下载网页内容，将网页发回给蜘蛛，scrapy 阅读全文