摘要：
connect_db：连接数据库，并操作数据库 import pymysql class OperationMysql: """ 数据库SQL相关操作 import pymysql 打开数据库连接 db = pymysql.connect("localhost","testuser","test12 阅读全文
posted @ 2022-02-28 18:56
齐天_大圣
阅读(416)
评论(0)
推荐(0)
摘要：
1. 日志相关概念 1.1 日志的作用 通过log的分析，可以方便用户了解系统或软件、应用的运行情况；如果你的应用log足够丰富，也可以分析以往用户的操作行为、类型喜好、地域分布或其他更多信息；如果一个应用的log同时也分了多个级别，那么可以很轻易地分析得到该应用的健康状况，及时发现问题并快速定位、 阅读全文
posted @ 2022-02-26 20:08
齐天_大圣
阅读(89)
评论(0)
推荐(0)
摘要：
利用appium提取数据 1 appium-python-client使用 1.1 安装appium-python-client模块 pip install appium-python-client 1.2 初始化以及获取移动设备分辨率 完成代码如下，并运行代码查看效果：如果模拟器中抖音app被启动 阅读全文
posted @ 2022-02-26 20:07
齐天_大圣
阅读(200)
评论(0)
推荐(0)
摘要：
Appium环境搭建 有的APP需要反编译，分析加密算法后，再获取信息。有的APP还需要脱壳，再需要反编译，分析加密算法。但要再了解这些问题，还是需要花些时间的，所以在些，我们可以通过移动端对APP的控制，来解析数据获取数据。 1. Android SDK安装 SDK:(software devel 阅读全文
posted @ 2022-02-26 20:07
齐天_大圣
阅读(111)
评论(0)
推荐(0)
摘要：
移动端爬虫 爬虫除了 Web 网页，也可以抓取 App 的数据。App 中的页面要加载出来，首先需要获取数据，而这些数据一般是通过请求服务器的接口来获取的。由于 App 没有浏览器这种可以比较直观地看到后台请求的工具，所以主要用一些抓包技术来抓取数据 1. 抓包工具的安装 Fiddler是一个htt 阅读全文
posted @ 2022-02-26 20:06
齐天_大圣
阅读(91)
评论(0)
推荐(0)
摘要：
Scrapyd的安装与使用 Scrapyd — Scrapyd 1.2.0 documentation scrapyd是一个用于部署和运行scrapy爬虫的程序，它允许你通过JSON API来部署爬虫项目和控制爬虫运行，scrapyd是一个守护进程，监听爬虫的运行和请求，然后启动进程来执行它们 1. 阅读全文
posted @ 2022-02-26 20:05
齐天_大圣
阅读(329)
评论(0)
推荐(0)
摘要：
常见的加密方式 1. Base64 1.1 介绍 Base64是一种用64个字符来表示任意二进制数据的方法。base64是一种编码方式而不是加密算法。只是看上去像是加密 Base64使用A-Z,a-z,0-9,+,/ 64个字符实现对数据进行加密 1.2 Python使用 import base64 阅读全文
posted @ 2022-02-26 20:04
齐天_大圣
阅读(1070)
评论(0)
推荐(0)
摘要：
IP代理池 1. 代理IP从何而来 刚自学爬虫的时候没有代理IP就去西刺、快代理之类有免费代理的网站去爬，还是有个别代理能用。当然，如果你有更好的代理接口也可以自己接入。 免费代理的采集也很简单，无非就是：访问页面页面 —> re/json/xpath提取 —> 保存 2. 如何保证代理质量 可以肯 阅读全文
posted @ 2022-02-26 20:04
齐天_大圣
阅读(252)
评论(0)
推荐(0)
摘要：
图片验证码 1. 介绍 验证码（CAPTCHA）是“Completely Automated Public Turing test to tell Computers and Humans Apart”（全自动区分计算机和人类的图灵测试）的缩写，是一种区分用户是计算机还是人的公共全自动程序。 防止恶 阅读全文
posted @ 2022-02-26 20:03
齐天_大圣
阅读(222)
评论(0)
推荐(0)
摘要：
Python 调用 JS 的几种方式 日常 Web 端爬虫过程中，经常会遇到参数被加密的场景，因此，我们需要分析网页源代码 通过调式，一层层剥离出关键的 JS 代码，使用 Python 去执行这段代码，得出参数加密前后的 Python 实现 //计算两个数的和 function add(num1, 阅读全文
posted @ 2022-02-26 20:03
齐天_大圣
阅读(310)
评论(0)
推荐(0)
浙公网安备 33010602011771号