随笔分类 -  爬虫

Charles证书安装为安卓系统证书
摘要：0.前言 用charles对手机app进行抓包时，有些app在使用了charles代理的时候会无法连接网络的情况，即便已经将charles证书安装到手机用户证书了也不行，这个时候一般考虑两种情况： 1.证书双向验证。详情可以参考：https://www.jianshu.com/p/22b56d977 阅读全文
posted @ 2022-06-10 15:43 爱洗澡的猫妹 阅读(3347) 评论(0) 推荐(0)
模拟器安装xposed保存解决
摘要：1.按照网上的教程下载了xposed后，安装到逍遥模拟器里面发现报错。然后就可以找各种问题，发现报错中的http换成https就可以了，可是这个链接是在apk里面的怎么弄呢 2.开始找各种解决方案，发现了androidkiller可以进行修改后做反编译，将图下所有包含framework.json的链 阅读全文
posted @ 2021-09-29 16:05 爱洗澡的猫妹 阅读(740) 评论(0) 推荐(0)
微信小程序反编译小红书
摘要：1.安装nodejs npm install uglify-es --save npm install esprima --save npm install css-tree --save npm install cssbeautify --save npm install vm2 --save n 阅读全文
posted @ 2021-09-23 17:53 爱洗澡的猫妹 阅读(1081) 评论(0) 推荐(0)
部署cronsun
摘要：cronsun cronsun 是一个分布式任务系统，单个节点和 *nix 机器上的 crontab 近似。支持界面管理机器上的任务，支持任务失败邮件提醒，安装简单，使用方便，是替换 crontab 一个不错的选择。 cronsun 是为了解决多台 *nix 机器上crontab 任务管理不方便的问 阅读全文
posted @ 2021-08-03 16:45 爱洗澡的猫妹 阅读(103) 评论(0) 推荐(0)
app反编译
摘要：APK反编译 学习和开发Android应用有一段时间了，今天写一篇博客总结一下Android的apk文件反编译。我们知道，Android应用开发完成之后，我们最终都会将应用打包成一个apk文件，然后让用户通过手机或者平板电脑下载下来进行安装。正常情况下，Android应用打包成apk之后，就无法再看 阅读全文
posted @ 2021-07-22 18:58 爱洗澡的猫妹 阅读(1902) 评论(0) 推荐(0)
js 爬虫 debugger
摘要：爬虫之前，需要先对网站请求进行梳理，F12 打开浏览器的开发者模式是第一步，所以反爬虫的第一招就是，在开发者模式下让对手的浏览器进入 无限循环 debugger 。 今天继续百度 “带有JS混淆加密的网站怎么破解”，看到一篇文章正打算参考测试时，浏览器就陷入了无限循环，两步之后，网站得意地宣布 “ 阅读全文
posted @ 2021-07-21 13:58 爱洗澡的猫妹 阅读(429) 评论(0) 推荐(0)
tesseract 识别图片
摘要：response = requests.get(url=pic_url,headers=Setting.DEFAULT_REQUEST_HEADERS)img = Image.open(BytesIO(response.content))text = pytesseract.image_to_str 阅读全文
posted @ 2021-06-02 10:40 爱洗澡的猫妹 阅读(62) 评论(0) 推荐(0)
cookie动态js生成破解
摘要：2019年末逆向复习系列之努比亚Cookie生成逆向分析 转载于https://zhuanlan.zhihu.com/p/93858575?from_voters_page=true 逆向背景 努比亚俱乐部的逆向有意思在它的Cookie是动态生成的，是由Js生成Cookie的案例，并且这个网站还有前 阅读全文
posted @ 2020-12-17 18:43 爱洗澡的猫妹 阅读(2539) 评论(0) 推荐(0)
打开chrome 应用商店
摘要：https://zhuanlan.zhihu.com/p/113207558 欢迎来到教学星球，我们一起终生学习。今天我们来说说如何访问谷歌网上应用商店。有了谷歌网上应用商店之后，才能为你的浏览器各种赋能。 首先需要安装一个谷歌浏览器，下载地址：https://www.google.cn/intl/ 阅读全文
posted @ 2020-12-03 20:42 爱洗澡的猫妹 阅读(17852) 评论(0) 推荐(1)
爬虫提取的数据以excel的形式发送到钉钉
摘要：第一步：获取access_token 文档：钉钉开发文档 第二步：上传文件，获取media_id 文档：钉钉开发文档 第三步：使用钉钉机器人发送下载链接 文档：钉钉开发文档 第四步：代码编写 import requests import json from urllib3 import encode 阅读全文
posted @ 2020-08-17 11:13 爱洗澡的猫妹 阅读(1598) 评论(0) 推荐(1)
scrapy---setting的字段含义
摘要：scrapy setting的字段含义 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 4 阅读全文
posted @ 2020-01-14 14:40 爱洗澡的猫妹 阅读(169) 评论(0) 推荐(0)
scrapy 提取元素
摘要：1. 元素的多级定位与跳级定位多级定位：依靠html中的多级元素逐步缩小范围response.xpath('//table/tbody/tr/td') //如果知道元素所属的下标可以用下标选择response.xpath('//table/tbody/tr[1]/td')跳级定位：符号“//”表示跳 阅读全文
posted @ 2019-12-23 11:15 爱洗澡的猫妹 阅读(825) 评论(0) 推荐(0)
selenium 无界面模式下 反爬虫解决方案
摘要：在无界面模式下发现请求地址全部报404，在有界面的模式下就是正常运行的。在网上查了半天，发现这种情况，由于爬取的网站进行了selenium反爬虫导致的。 1.尝试使用开启开发者模式 opt = webdriver.ChromeOptions() # 把chrome设置成无界面模式，不论windows 阅读全文
posted @ 2019-10-30 14:18 爱洗澡的猫妹 阅读(3209) 评论(0) 推荐(0)
scrapy创建爬虫项目
摘要：1. 创建项目: scrapy startproject 项目名 2. 创建爬虫: cd 项目名 scrapy genspider 爬虫名 爬虫起始url 3. 启动爬虫: scrapy crawl 爬虫名 4. 启动爬虫并保存日志: scrapy crawl 爬虫名 -s LOG_FILE=日志名 阅读全文
posted @ 2019-10-23 13:44 爱洗澡的猫妹 阅读(178) 评论(0) 推荐(0)
scrapy安装
摘要：1. 安装python3.6并设置环境变量, easy,略. 2. 在 https://www.lfd.uci.edu/~gohlke/pythonlibs/ 下找到Twisted‑17.9.0‑cp36‑cp36m‑win_amd64.whl (注意系统和安装python的位数) 并下载. 3. 阅读全文
posted @ 2019-10-23 13:44 爱洗澡的猫妹 阅读(256) 评论(0) 推荐(0)
python Scrapy框架 报301
摘要：在使用Scrapy框架中总是遇到这类问题，在此留下记录，方便查阅、 三种解决方式：解决（一）在Request中将scrapy的dont_filter=True，因为scrapy是默认过滤掉重复的请求URL，添加上参数之后即使被重定向了也能请求到正常的数据了 解决（二）在scrapy框架中的 sett 阅读全文
posted @ 2019-10-22 17:38 爱洗澡的猫妹 阅读(261) 评论(0) 推荐(0)