摘要： 伪装浏览器 服务器可以查看访问的终端，如果不是浏览器，可能会被屏蔽，而且即使你用同一浏览器访问频率过快，也可能被屏蔽，所以需要伪装浏览器反爬。 有以下几种方法 1. 在 settings中添加 user_agent 也可以添加其他header 2. 重写中间件 在原有 middlewares.py 阅读全文

摘要： scrapy 爬取分页网站的策略 1. 检测当前页是否存在“下一页” 2. 如果存在，把“下一页”的链接交给本方法或者其他方法 3. 如果不存在，结束 图示 示例代码 在解析器中，检测下一页的链接，如果存在，就在解析器中继续爬取，这是一种递归实现分页爬取的策略。 当然你可以用其他方法。 注意，这只是 阅读全文

摘要： scrapy 没有界面，需要命令行来操作。 非常简单，总共也就十四五个命令，分为全局命令和项目命令。 全局命令 在哪都能用 常用命令 不太常用 scrapy bench 用于 benchmark 测试，测试 scrapy 在硬件上的效率。 项目命令 在项目目录才能用 命令行参数 为了增强scrapy 阅读全文

摘要： 有经验的人都知道，解析网站需要尝试，看看得到的数据是不是想要的，那么在scrapy中怎么尝试呢？ 调试工具-shell 主要用于编写解析器 命令行进入shell 这个命令其实是个下载器 shell 界面 获取数据 解析命令 response.css('title')，验证获取的数据正确与否 退出sh 阅读全文

摘要： scrapy 是个爬虫框架，是由python编写的，用法类似 django 框架。 创建工程 在开始爬虫之前，先创建工程 目录结构如下图 文件说明 顶层的scrapy1是工程名 第二层的scrapy1相当于app名 scrapy.cfg 工程的配置信息，目的是使得工程能够正常运行 spiders 用 阅读全文

摘要： 安装 具体请自行百度 依赖库 网上说pip安装会内分泌失调，我试了下还行吧，不过也遇到几个问题 解决方法 解决方法 安装成功 离线下载地址 https://pypi.org/project/Scrapy/#files 实战入门 命令行运行 自动生成 test.json 文件，并存入爬取内容。 这是最 阅读全文

摘要： Event 简介 Event 事件 是线程间通信的最简单方法之一，主要用于线程同步。 处理机制 定义一个全局内置标志Flag，如果Flag为False，执行到 event.wait 时程序就会阻塞，如果Flag为True，event.wait 便不会阻塞 【注意如果处于阻塞状态，不管在哪使得Flag 阅读全文

摘要： 引言 很多分类器在数学解释时都是以二分类为例，其数学推导不适用于多分类，模型本身也只能用于二分类，如SVM，Adaboost ， 但是现实中很多问题是多分类的，那这些模型还能用吗 二分类 to 多分类 更改数学原理 改变这些模型的原理，重新推导数学公式，然后代码实现。 这种方法一般不可取，难度大，而 阅读全文

摘要： 引言 之前学习了 R-CNN 和 SPPNet，这里做一下回顾和补充。 问题 R-CNN 需要对输入进行resize变换，在对大量 ROI 进行特征提取时，需要进行卷积计算，而且由于 ROI 存在重复区域，所以特征提取存在大量的重复计算； SPPNet 针对 R-CNN 进行了改进，其利用空间金字塔 阅读全文

摘要： 引言 先简单回顾一下R-CNN的问题，每张图片，通过 Selective Search 选择2000个建议框，通过变形，利用CNN提取特征，这是非常耗时的，而且，形变必然导致信息失真，最终影响模型的性能。 由此引出了一系列问题 问题1：形变耗时又损失信息，为什么要形变 很简单，因为CNN的输入必须是 阅读全文