随笔分类 -  爬虫

一个简单的app的demo
摘要：目标app：aHR0cHM6Ly9zZWN1cml0eS5iaWxpYmlsaS5jb20vc2VjMTAyNC9xL3I1Lmh0bWw= 打开app 把app丢到GDA反编译 跳转Encrypt a就是换位 b就是base64 java和python的byte是不一样的。 java的byte[] 阅读全文
posted @ 2021-10-28 11:49 一个大柚子 阅读(1081) 评论(0) 推荐(0)
python爬虫 一个security的RSA加密爬虫
摘要：目标网站 aHR0cDovL2Nhcy5zd3VzdC5lZHUuY24vYXV0aHNlcnZlci9sb2dpbg== 加密定位和分析 第一个参数 execution 在页面直接存在 第二个参数 这个是直接写死的 第三参数geolocation 直接为空 第四个参数 username 是账号名， 阅读全文
posted @ 2021-08-28 10:26 一个大柚子 阅读(1019) 评论(0) 推荐(0)
python使用excejs执行时出现环境缺失的简单解决方法
摘要：使用jsdom 在js的头加上 const canvas = require('canvas'); const jsdom = require("jsdom"); const {JSDOM} = jsdom; const dom = new JSDOM(`<!DOCTYPE html><p>Hell 阅读全文
posted @ 2021-08-17 17:14 一个大柚子 阅读(260) 评论(0) 推荐(0)
使用 mitmdump 进行 selenium webDriver绕过网站反爬服务的方法 pdd某宝 可用
摘要：安装: pip install mitmproxy 新建一个脚本 脚本代码： 1 from mitmproxy import ctx 2 3 injected_javascript = ''' 4 // overwrite the `languages` property to use a cust 阅读全文
posted @ 2019-12-18 11:48 一个大柚子 阅读(2336) 评论(0) 推荐(0)
scrapy-redis 分布式哔哩哔哩网站用户爬虫
摘要：scrapy里面，对每次请求的url都有一个指纹，这个指纹就是判断url是否被请求过的。默认是开启指纹即一个URL请求一次。如果我们使用分布式在多台机上面爬取数据，为了让爬虫的数据不重复，我们也需要一个指纹。但是scrapy默认的指纹是保持到本地的。所有我们可以使用redis来保持指纹，并且用red 阅读全文
posted @ 2019-05-19 16:49 一个大柚子 阅读(633) 评论(0) 推荐(0)
selenum autoit上传图片
摘要：目前，一般实现文件图片上传的方式都是有一个按钮，点击之后直接调用操作系统自身的弹框，选择文件后，实现上传。因为Selenium不支持调用操作系统的操作，所以这种情况下，利用Selenium无法完成图片上传，这时，我们可以选择autoit实现。 autoit可以操控控件 下载地址 ：https://w 阅读全文
posted @ 2019-02-14 15:33 一个大柚子 阅读(515) 评论(0) 推荐(0)
scrapy爬取美女图片
摘要：使用scrapy爬取整个网站的图片数据。并且使用 CrawlerProcess 启动。 1 # -*- coding: utf-8 -* 2 import scrapy 3 import requests 上面的是spider文件 上面的是item文件 这上面是管道文件 这是在setting里面的， 阅读全文
posted @ 2019-02-11 21:21 一个大柚子 阅读(1163) 评论(1) 推荐(0)
使用request实现手工输入验证码登录
摘要：我们的目标网站是这个http://awehome.com.cn，登录页面是这个http://awehome.com.cn/tenant/login 搜索我们使用request的session来保存会话并且进入登录页面，他是这样的 我们先来获取验证码，直接通过html.text来获取是找不到他里面的图 阅读全文
posted @ 2018-12-29 17:05 一个大柚子 阅读(2252) 评论(1) 推荐(1)
selenium登录 京东滑动验证码
摘要：京东的滑动验证码在页面上是没有原图的，所有我是用ps把他们拼成一个的。 难点就在滑动的轨迹太容易被抓，而且一种用多了也会被识别。 git https://github.com/18370652038/jd.git 阅读全文
posted @ 2018-12-09 14:28 一个大柚子 阅读(7117) 评论(1) 推荐(1)
使用scrapy+selenium爬取淘宝网
摘要：--***2019-3-27测试有效*** 第一步： 打开cmd，输入scrapy startproject taobao_s新建一个项目。 接着cd 进入我们的项目文件夹内输入scrapy genspider taobao www.taobao.com新建一个爬虫 文件内是这样的，tools是我建 阅读全文
posted @ 2018-12-02 19:55 一个大柚子 阅读(6731) 评论(6) 推荐(1)