shclbear - 博客园

2024年12月

摘要：站点版（一）、企业站搜狐：http://mirrors.sohu.com/ 网易：http://mirrors.163.com/ 阿里云：http://mirrors.aliyun.com/ 腾讯：http://android-mirror.bugly.qq.com:8080/（仅针对APP开发阅读全文

posted @ 2024-12-12 20:10 shclbear 阅读(30) 评论(0) 推荐(0)

2024年8月

网络爬虫中Fiddler抓取PC端网页数据包与手机端APP数据包

摘要： Fiddler是常用的数据包捕获软件，具有分析请求数据、设置断点、调试web应用、修改请求的数据等功能，本文对如何用Fiddler抓取HTTP、HTTPS、手机APP数据包介绍了，另外还补充介绍了数据包过滤的功能。 1 引言在编写网络爬虫时，第一步（也是极为关键一步）就是对网络的请求（reques 阅读全文

posted @ 2024-08-27 22:07 shclbear 阅读(1140) 评论(0) 推荐(0)

网络爬虫之scrapy爬取某招聘网手机APP发布信息

摘要：本文采用scrapy爬虫框架爬取前程无忧手机APP发布的招聘信息，重点对APP抓包分析、爬虫设计思路进行介绍。 1 引言过段时间要开始找新工作了，爬取一些岗位信息来分析一下吧。目前主流的招聘网站包括前程无忧、智联、BOSS直聘、拉勾等等。有段时间时间没爬取手机APP了，这次写一个爬虫爬取前程无忧手阅读全文

posted @ 2024-08-27 22:03 shclbear 阅读(116) 评论(0) 推荐(0)

使用adb命令安装安卓apk包

摘要：虽然网上也有许多adb安装安卓包的教程，但经过自己亲自试了一下后，觉得自己写下来的才是自己的收获。一、下载安装adb工具下载地址有很多，这里是我下载的地址：https://pan.baidu.com/s/1mgGkNZM，下载文件比较齐全。下载后是个压缩包，解压后一共有5个文件，如下图：这里我阅读全文

posted @ 2024-08-12 12:24 shclbear 阅读(2719) 评论(0) 推荐(0)

Fiddler抓包工具总结

摘要： Fiddler是一款很牛逼的抓包工具，写一篇对它的总结，方便自己查阅序章 Fiddler是一个蛮好用的抓包工具，可以将网络传输发送与接受的数据包进行截获、重发、编辑、转存等操作。也可以用来检测网络安全。反正好处多多，举之不尽呀！当年学习的时候也蛮费劲，一些蛮实用隐藏的小功能用了之后就忘记了，每次去阅读全文

posted @ 2024-08-12 09:23 shclbear 阅读(111) 评论(0) 推荐(0)

钉钉群机器人开发接口

摘要：获取自定义机器人webhook 步骤一，在机器人管理页面选择“自定义”机器人，输入机器人名字并选择要发送消息的群。如果需要的话，可以为机器人设置一个头像。点击“完成添加”，完成后会生成Hook地址，如下图：步骤二，点击“复制”按钮，即可获得这个机器人对应的Webhook地址，其格式如下： http 阅读全文

posted @ 2024-08-11 15:06 shclbear 阅读(99) 评论(0) 推荐(0)

Charles使用教程

摘要：一、Charles教程（一）Charles使用教程Charles是一个HTTP代理/ HTTP监视器/反向代理，能够查看其机器和Internet之间的所有HTTP和SSL / HTTPS流量。这包括请求，响应和HTTP标头（包含cookie和缓存信息） Charles 是在 Mac /Windows 阅读全文

posted @ 2024-08-08 23:00 shclbear 阅读(1073) 评论(0) 推荐(0)

Selenium 4 的用法

摘要： Selenium是一个用于Web应用程序测试的工具。Selenium测试直接运行在浏览器中，就像真正的用户在操作一样。支持的浏览器包括IE（7, 8, 9, 10, 11），Mozilla Firefox，Safari，Google Chrome，Opera，Edge等。这个工具的主要功能包括：测试阅读全文

posted @ 2024-08-07 16:42 shclbear 阅读(211) 评论(0) 推荐(0)

经典的Python爬虫和网络编程面试题

摘要： 1、动态加载又对及时性要求很高怎么处理？ Selenium+Phantomjs 尽量不使用 sleep 而使用 WebDriverWait 2、分布式爬虫主要解决什么问题？（1）ip （2）带宽（3）cpu （4）io 3、什么是 URL？ URL，即统一资源定位符，也就是我们说的网址，统一资源阅读全文

posted @ 2024-08-06 23:39 shclbear 阅读(269) 评论(0) 推荐(0)

2024年5月

快速导出requestment.txt

摘要： # 快速导出requestment.txtpip3 install pipreqs# pipreqs ./ --encoding=utf-8 阅读全文

posted @ 2024-05-12 22:20 shclbear 阅读(65) 评论(0) 推荐(0)

公告