阿布_alone - 博客园

2022年3月5日

摘要：我们知道，网站使用 Cookies 来记录用户的登录状态。如果我们从浏览器中把 Cookies 复制下来，放到爬虫中，在某些情况下，就可以让爬虫直接访问到登录后的页面。以练习页面http://exercise.kingname.info/exercise_login_success为例。在没有登录阅读全文

posted @ 2022-03-05 00:15 阿布_alone 阅读(302) 评论(0) 推荐(0) 编辑

如何正确在 PyCharm 中调试 Scrapy 爬虫？

摘要：最近有不少同学在粉丝群里面问，如何调试Scrapy 爬虫。有些人不知道如何让 Scrapy 爬虫进入调试模式；还有一些人不知道怎么单步调试。怎么进入调试模式我们知道，Scrapy 项目要启动爬虫的时候，需要在终端或者 CMD 中执行一段命令scrapy crawl 爬虫名。但是，PyCharm 阅读全文

posted @ 2022-03-05 00:09 阿布_alone 阅读(342) 评论(0) 推荐(0) 编辑

如何使用参数给 Scrapy 爬虫增加属性

摘要：如何使用参数给 Scrapy 爬虫增加属性在Scrapy 项目中，我们有时候需要在启动爬虫的时候，传入一些参数，从而让一份代码执行不同的逻辑。这个时候，有一个非常方便的方法，就是使用-a参数。它的语法为： scrapy crawl 爬虫名 -a 参数1 -a 参数2 -a 参数3 那么，传入的这些阅读全文

posted @ 2022-03-05 00:01 阿布_alone 阅读(242) 评论(0) 推荐(0) 编辑

2022年3月4日

Scrapy 如何正确 Post 发送 JSON 数据

摘要：我们知道，HTTP请求的 POST 方式，提交上去的数据有很多种格式。例如JSON/form-data/x-www-form-urlencoded等等。我们在 Postman 的 POST 请求里面，可以看到这些数据格式，如下图所示：虽然同样都是 POST 方式，但是有些网站只能使用特定的格式才能阅读全文

posted @ 2022-03-04 23:58 阿布_alone 阅读(838) 评论(0) 推荐(0) 编辑

更友好的格式化数据提取方案

摘要：在工作中，我们开发的系统会涉及到大量的日志。同时，我们还有另一套系统会对日志的内容进行监控，从而判断系统是否正常运作。以 Nginx 的日志为例，这是一条访问日志： 162.158.167.131 - - [11/Aug/2020:06:47:30 +0800] "GET /tags/Tenaci 阅读全文

posted @ 2022-03-04 23:52 阿布_alone 阅读(44) 评论(0) 推荐(0) 编辑

在Python类里面初始化自己

摘要：当我们写一个类的时候，一般会覆写 __init__方法，来初始化一些数据。例如： class People: def __init__(self, name, age, salary): self.name = name self.age = age self.salary = salary def 阅读全文

posted @ 2022-03-04 23:48 阿布_alone 阅读(192) 评论(0) 推荐(0) 编辑

2022年1月16日

js逆向破解之Hook Cookie

摘要：原理通过油猴插件重写操作Cookie的get和set操作通过指定Cookie名动态进入derbugger模式代码 // ==UserScript== // @name Hook Cookie // @namespace http://tampermonkey.net/ // @version 阅读全文

posted @ 2022-01-16 10:48 阿布_alone 阅读(1651) 评论(1) 推荐(1) 编辑

2022年1月8日

将抓包工具证书从用户目录移动至系统目录,解决反爬对于本地证书认证(安卓7)

摘要：步骤： adb shell #连接手机进入shell模式 #su root #如果你不root权限可以试着这个一般都是root cd /data/misc/user/0/cacerts-added #移动至于用户证书目录 mount -o remount,rw /system #将系统证书目录权限改阅读全文

posted @ 2022-01-08 19:04 阿布_alone 阅读(578) 评论(0) 推荐(0) 编辑

2021年12月23日

python实现HmacSHA256加密算法

摘要：代码： from hashlib import sha256 import hmac def get_sign(data, key): key = key.encode('utf-8') message = data.encode('utf-8') sign = base64.b64encode(h 阅读全文

posted @ 2021-12-23 22:00 阿布_alone 阅读(1086) 评论(0) 推荐(0) 编辑

记一个python字典和json.dumps()的坑

摘要：记一个python字典和json.dumps()的坑最近项目中需要与管易云erp做对接，看了他的接口文档，php的示例代码，于是用python仿写。其中传的参数data中前面几个json数据是固定的，最后需要加一个签名，该签名是对前面的json数据字符串化后，首尾拼接上screct字符串，再做m 阅读全文

posted @ 2021-12-23 21:55 阿布_alone 阅读(584) 评论(0) 推荐(0) 编辑

阿布alone

公告