上一页 1 ··· 5 6 7 8 9 10 11 下一页
摘要: 一、什么是字体反爬? 字体反爬就是将关键性数据对应于其他Unicode编码,浏览器使用该页面自带的字体文件加载关键性数据,正常显示,而当我们将数据进行复制粘贴、爬取操作时,使用的还是标准的Unicode字符映射,解析后就是干扰性数据,以猫眼电影为例: 上图表明,浏览器正常渲染的数据在调试界面显示为错 阅读全文
posted @ 2020-01-26 20:03 找回失去的自我 阅读(1273) 评论(0) 推荐(0)
摘要: 1、常用的打码平台:超级鹰、打码兔等 2、打码平台在识别图形验证码和点触验证码上比较好用 (1)12306点触验证码 1 from selenium import webdriver 2 from selenium.webdriver.support import expected_conditio 阅读全文
posted @ 2020-01-18 16:19 找回失去的自我 阅读(806) 评论(0) 推荐(0)
摘要: 一、什么是验证码? 验证码(CAPTCHA)是“Completely Automated Public Turing test to tell Computers and Humans Apart”(全自动区分计算机和人类的图灵测试)的缩写。 是一种用来区分用户是计算机还是人的公共全自动程序。 二、 阅读全文
posted @ 2020-01-18 16:13 找回失去的自我 阅读(693) 评论(0) 推荐(0)
摘要: 一、Appium工作原理(详情见:https://www.cnblogs.com/sophia194910/p/7515165.html) Appium的功能其实很简单:监听一个端口,然后接收由client发送来的command,翻译这些command,把这些command转成移动设备可以理解的形式 阅读全文
posted @ 2020-01-18 15:37 找回失去的自我 阅读(7923) 评论(0) 推荐(1)
摘要: m = md5("12345678".encode()) print(m.hexdigest()) # 25d55ad283aa400af464c76d713c07ad m = md5("1234".encode()) print(m.hexdigest()) # 81dc9bdb52d04dc20 阅读全文
posted @ 2020-01-04 11:52 找回失去的自我 阅读(396) 评论(0) 推荐(0)
摘要: class ProxyDownloaderMiddleware(object): # Not all methods need to be defined. If a method is not defined, # scrapy acts as if the downloader middlewa 阅读全文
posted @ 2019-12-19 21:43 找回失去的自我 阅读(590) 评论(0) 推荐(0)
摘要: 1、什么是scrapyd Scrapyd是一个服务,用来运行scrapy爬虫的。 它允许你部署你的scrapy项目以及通过HTTP JSON的方式控制你的爬虫。 官方文档:http://scrapyd.readthedocs.org/ 2、安装scrapyd和scrapyd-client pip i 阅读全文
posted @ 2019-12-19 20:56 找回失去的自我 阅读(1045) 评论(0) 推荐(0)
摘要: 1、如何将一个scrapy爬虫项目修改成为一个简单的分布式爬虫项目 官方文档:https://scrapy-redis.readthedocs.io/en/stable/ 只用修改scrapy项目的两个文件就可以了 一个是爬虫组件文件# -*- coding: utf-8 -*- import sc 阅读全文
posted @ 2019-12-12 16:04 找回失去的自我 阅读(955) 评论(0) 推荐(0)
摘要: 1、scrapy日志介绍 Scrapy的日志系统是实现了对python内置的日志的封装 scrapy也使用python日志级别分类 logging.CRITICAL logging.ERROE logging.WARINING logging.INFO logging.DEBUG 2、如何在pyth 阅读全文
posted @ 2019-12-12 11:57 找回失去的自我 阅读(1490) 评论(0) 推荐(0)
摘要: MongoDB安装配置: 在安装配置MongoDB的过程中遇到了很多问题,现在重新梳理一遍安装流程、遇到的问题及其解决方法 系统版本:Windows 10 MongoDB版本:4.2.1 1.下载地址:https://www.mongodb.com/download-center/community 阅读全文
posted @ 2019-12-03 15:34 找回失去的自我 阅读(700) 评论(0) 推荐(0)
上一页 1 ··· 5 6 7 8 9 10 11 下一页