莫凡

摘要： 一：MongoDB 的介绍 1.1 什么是mongodb mongodb 是一个功能最丰富的NoSQL非关系数据库。由 C++ 语言编写。 mongodb 本身提供S端存储数据，即server；也提供C端操作处理（如查询等）数据，即client。 1.2 SQL和NoSQL的主要区别 在SQL中层级 阅读全文

摘要： 一：scrapy_redis 的概念和作用 1. 分布式是什么 简单的说 分布式就是不同的节点（服务器，ip不同）共同完成一个任务 2. scrapy_redis的概念 scrapy_redis是scrapy框架的基于redis的分布式组件 3. scrapy_redis的作用 Scrapy_red 阅读全文

摘要： 1. 什么是scrapy_splash？ scrapy_splash是scrapy的一个组件 scrapy-splash加载js数据是基于Splash来实现的。 Splash是一个Javascript渲染服务。它是一个实现了HTTP API的轻量级浏览器，Splash是用Python和Lua语言实现 阅读全文

摘要： 一：确定js的位置 1：观察按钮绑定的js事件 通过点击按钮，然后点击Event Listener，部分网站可以找到绑定的事件，对应的，只需要点击即可跳转到js的位置 2 通过search all file 来搜索 部分网站的按钮可能并没有绑定js事件监听，那么这个时候可以通过搜索请求中的关键字来找 阅读全文

摘要： 1： String.prototype.search方法 其功能是用来找出某个子字符串在原字符串中首次出现的位置（index），如果没有该字符串就返回-1 $(function () { var ret = '[["10.0.1.101/24","10.0.2.101/24"],["10.10.10 阅读全文

摘要： 一：引入jsonpath文件 <script type="text/javascript" src="../static/js/jsonPath.js"></script> jsonpath 源文件如下，可直接复制 /* JSONPath 0.8.0 - XPath for JSON * * Cop 阅读全文

摘要： 什么是分组 通俗来说，我理解的分组就是在正则表达式中用（）包起来的内容代表了一个分组，像这样的： var reg = /(\d{2})/ reg.test('12'); //true 这里reg中的(/d{2})就表示一个分组，匹配两位数字 分组内容的的形式 一个分组中可以像上面这样有一个具体的表达 阅读全文

摘要： 一：scrapy的概念和流程 1：scrapy 的概念 Scrapy是一个Python编写的开源网络爬虫框架。它是一个被设计用于爬取网络数据、提取结构性数据的框架。 Scrapy 使用了Twisted['twɪstɪd]异步网络框架，可以加快我们的下载速度。 2：scrapy框架的作用 少量的代码， 阅读全文

摘要： 一：新建隐身窗口 浏览器中直接打开网站，会自动带上之前网站时保存的cookie，但是在爬虫中首次获取页面是没有携带cookie的，这种情况如何解决呢？ 使用隐身窗口，首次打开网站，不会带上cookie，能够观察页面的获取情况，包括对方服务器如何设置cookie在本地 二： chrome中networ 阅读全文

摘要： 一.图片验证码 1.1 什么是图片 验证码- 验证码（CAPTCHA）是“Completely Automated Public Turing test to tell Computers and Humans Apart”（全自动区分计算机和人类的图灵测试）的缩写，是一种区分用户是计算机还是人的公 阅读全文