随笔分类 -  爬虫

User Agent Switcher and Manager 改 ua
摘要：背景 针对某些特定的网站使用特定的ua 工具 User Agent Switcher and Manager https://add0n.com/useragent-switcher.html 使用方法 选择 custom mode ，粘贴自定义的域名及ua 下面案例是针对小鹅通部分视频pc端不支持 阅读全文
posted @ 2022-10-26 23:29 寒菱 阅读(1842) 评论(0) 推荐(0)
python 字符串转时间戳
摘要：# coding=utf-8 import re def date2timestamp(strdate): """ 年月日转时间戳 :param strdate: 2022-02-01 :type strdate: :return: :rtype: """ import datetime curr 阅读全文
posted @ 2022-08-25 13:57 寒菱 阅读(3751) 评论(0) 推荐(0)
axios 响应数据为空
摘要：背景 在使用 axios 请求一个网站的时候发现 response.data 为空，且响应头内容也不是常见的响应头 而在浏览器上去访问是正常的 且使用 postman 和 python 也可以正常的获取数据 解决方案 设置请求头里的 Connection 为 keep-alive 即可 原因 axi 阅读全文
posted @ 2021-11-02 14:48 寒菱 阅读(1686) 评论(0) 推荐(0)
四库一平台加密
摘要：代码中使用了 axios 的拦截器 阅读全文
posted @ 2021-03-23 00:00 寒菱 阅读(144) 评论(0) 推荐(0)
requests 发送请求时 保持 headers 的顺序
摘要：序 如题，在使用 requests 发送 post 请求时保持 headers 的顺序不变 问题来源于 http://match.yuanrenxue.com/match/3 这个网站 在抓包时发现每次获取数据前都会发送一个 post 请求去获取cookies 在模拟时却发现怎么都无法获取cooki 阅读全文
posted @ 2020-10-20 12:40 寒菱 阅读(1818) 评论(2) 推荐(0)
nexus 5x 刷机指北
摘要：内容整理自肉丝姐的安卓入门课 nexus 5x 刷机指北，其它手机类似 环境搭建 首先下载肉丝姐提供的kali系统 https://github.com/r0ysue/AndroidSecurityStudy/blob/master/FART/kali-linux-2019-4-vmware-amd 阅读全文
posted @ 2020-08-30 19:07 寒菱 阅读(2013) 评论(0) 推荐(0)
有道翻译
摘要：关于请求 url 参数 参数解析 salt的生成依赖于ts，注意时间戳的精确度 bv: "JavaScript Window Navigator" sign: md5("fanyideskweb" + 待翻译文字 + salt + "n%A rKaT5fb[Gy?;N5@Tj") 模拟请求 cook 阅读全文
posted @ 2019-12-26 10:08 寒菱 阅读(228) 评论(0) 推荐(0)