随笔分类 -  爬虫

摘要:背景: 网站分析思路 笔记1: 案例: 1.乌海市公共资源: http://www.whggzy.com/home.html 数据加密案例 2.福建省公共资源交易电子公共服务平台:https://ggzyfw.fujian.gov.cn/index/new 头部信息加密案例 获取爬取数据的流程: 一 阅读全文
posted @ 2022-12-28 14:54 萤huo虫 阅读(293) 评论(0) 推荐(0)
摘要:背景: 有些时候我们不想让别人按F12调试网站, 就可以利用下面两段代码来分别实现按下F12自动关闭当前页面或者跳转到其他指定页面 JS实现按下F12关闭当前页面代码 <script type="text/javascript"> //判断F12审查元素 function fuckyou() { w 阅读全文
posted @ 2022-12-21 15:25 萤huo虫 阅读(841) 评论(0) 推荐(0)
摘要:背景: fiddler 初次安装一般只会抓取http 协议的包, 如果是https 的web会显示警告。 如图: 安装https证书: 第一步: Tools 》Options 第二步: 获取证书并输出到桌面 第三步:设置》搜索(证书)》安全》管理证书 下一步》 导入证书 》傻瓜式下一步》完成 验证: 阅读全文
posted @ 2022-12-20 15:40 萤huo虫 阅读(1833) 评论(0) 推荐(0)
摘要:前言: 作者自己在学习编写爬虫程序时,碰到需要登陆后才能访问详情也的情况,当我满心欢喜的使用POST提交user及password 后并没有获得登录验证后的cookie 简单说,我登录操作失败了, 什么原因呢? 事后发现其实是我提交的登录信息的API不对, 我想通过chrome 抓包分析,但是当我点 阅读全文
posted @ 2022-11-02 14:23 萤huo虫 阅读(105) 评论(0) 推荐(0)