摘要：
JsonPath 是一种信息抽取类库，是从JSON文档中抽取指定信息的工具 语法： $ ：根节点 @：现行节点 . 或者[ ] ：取子节点 ..：不管位置，选择节点 *：匹配所有节点 [ ]：内部可以填上索引值、键名， 常用表达式： 示例： In[1]: from jsonpath import j 阅读全文
摘要：
fake_useragent模块已经封装好了各种浏览器的User-Agent，方便我们随机选取，但是最近使用该模块的时候一直报错：Maximum amount of retries reached 解决方案： 我们可以手动下载fake_useragent_0.1.11.json文件（以该版本为例）， 阅读全文
摘要：
滑动验证距离 分别获取验证码背景图和滑块图两张照片，然后利用opencv库，通过高斯模糊和Canny算法进行处理，然后通过matchTemplate方法进行两张图的匹配，获得滑动距离。需要注意的是，知乎验证码在进行操作的时候，需要在原有基础上再向右偏移10px距离 def get_distance( 阅读全文
摘要：
分析并找出请求接口 百度翻译的结果在页面上是局部刷新的，我们可以直接打开浏览器抓包工具，分析ajax请求，找出请求的数据包： 我们发现数据是通过https://fanyi.baidu.com/v2transapi?from=zh&to=en这个请求发送的，Post请求 分析该请求的参数： simpl 阅读全文
摘要：
1、安装PyExecJS包 pip3 install PyExecJS 2、本地安装Node.js： 执行js有时需要浏览器环境,需要window对象和document对象，所以需要安装Node.js环境 Node.js 安装包及源码下载地址为：https://nodejs.org/en/downl 阅读全文
摘要：
介绍 jQuery是目前使用最广泛的javascript函数库。一个js文件，页面用script标签引入这个js文件就可以使用。 加载 将获取元素的语句写到页面头部，会因为元素还没有加载而出错，jquery提供了ready方法解决这个问题，它的速度比原生的 window.onload 更快。 $(d 阅读全文
摘要：
介绍 JavaScript是运行在浏览器端的脚步语言，JavaScript主要解决的是前端与用户交互的问题，包括使用交互与数据交互。 嵌入页面方式 行间事件（主要用于事件） <input type="button" name="" onclick="alert('ok！');"> 超链接href属性 阅读全文
摘要：
一、环境安装及运行 安装（ubuntu系统） sudo apt-get install mysql-server mysql-client 根据提示，设置root用户的密码 管理服务 sudo service mysql start #开启 sudo service mysql stop #关闭 s 阅读全文
摘要：
可以采取以下措施： 增大并发请求数 默认scrapy开启的并发线程为16个，可以适当进行增加。在settings配置文件中修改CONCURRENT_REQUESTS = 100值为100,并发设置成了为100。 提升日志等级 在运行scrapy时，默认日志等级为DEBUG，会有大量日志信息的输出，为 阅读全文
摘要：
冒泡排序 工作原理： 比较相邻的元素。如果第一个比第二个大（升序），就交换他们两个。 对每一对相邻元素作同样的工作，从开始第一对到结尾的最后一对。这步做完后，最后的元素会是最大的数。 针对所有的元素重复以上的步骤，除了最后一个。 持续每次对越来越少的元素重复上面的步骤，直到没有任何一对数字需要比较。 阅读全文