人生如梦，亦如幻

摘要： 一、什么是字体反爬？ 字体反爬就是将关键性数据对应于其他Unicode编码，浏览器使用该页面自带的字体文件加载关键性数据，正常显示，而当我们将数据进行复制粘贴、爬取操作时，使用的还是标准的Unicode字符映射，解析后就是干扰性数据，以猫眼电影为例： 上图表明，浏览器正常渲染的数据在调试界面显示为错 阅读全文

摘要： 1、常用的打码平台：超级鹰、打码兔等 2、打码平台在识别图形验证码和点触验证码上比较好用 （1）12306点触验证码 1 from selenium import webdriver 2 from selenium.webdriver.support import expected_conditio 阅读全文

摘要： 一、什么是验证码？ 验证码（CAPTCHA）是“Completely Automated Public Turing test to tell Computers and Humans Apart”（全自动区分计算机和人类的图灵测试）的缩写。 是一种用来区分用户是计算机还是人的公共全自动程序。 二、 阅读全文

摘要： 一、Appium工作原理（详情见：https://www.cnblogs.com/sophia194910/p/7515165.html） Appium的功能其实很简单：监听一个端口，然后接收由client发送来的command，翻译这些command，把这些command转成移动设备可以理解的形式 阅读全文

摘要： m = md5("12345678".encode()) print(m.hexdigest()) # 25d55ad283aa400af464c76d713c07ad m = md5("1234".encode()) print(m.hexdigest()) # 81dc9bdb52d04dc20 阅读全文

摘要： class ProxyDownloaderMiddleware(object): # Not all methods need to be defined. If a method is not defined, # scrapy acts as if the downloader middlewa 阅读全文

摘要： 1、什么是scrapyd Scrapyd是一个服务，用来运行scrapy爬虫的。 它允许你部署你的scrapy项目以及通过HTTP JSON的方式控制你的爬虫。 官方文档：http://scrapyd.readthedocs.org/ 2、安装scrapyd和scrapyd-client pip i 阅读全文

摘要： 1、如何将一个scrapy爬虫项目修改成为一个简单的分布式爬虫项目 官方文档：https://scrapy-redis.readthedocs.io/en/stable/ 只用修改scrapy项目的两个文件就可以了 一个是爬虫组件文件# -*- coding: utf-8 -*- import sc 阅读全文

摘要： 1、scrapy日志介绍 Scrapy的日志系统是实现了对python内置的日志的封装 scrapy也使用python日志级别分类 logging.CRITICAL logging.ERROE logging.WARINING logging.INFO logging.DEBUG 2、如何在pyth 阅读全文

摘要： MongoDB安装配置： 在安装配置MongoDB的过程中遇到了很多问题，现在重新梳理一遍安装流程、遇到的问题及其解决方法 系统版本：Windows 10 MongoDB版本：4.2.1 1.下载地址：https://www.mongodb.com/download-center/community 阅读全文