摘要: 1.xpath插件安装 (1) 打开chrome浏览器 (2)点击右上角小圆点 (3)更多工具 (4)扩展程序 (5)拖拽xpath插件到扩展程序中 (6)如果crx文件失效,需要将后缀修改为zip (7)再次拖拽 (8)关闭浏览器重新打开 (9)Ctrl + shift + x (10)出现小黑框 阅读全文
posted @ 2022-05-24 16:37 创客未来 阅读(101) 评论(0) 推荐(0)
摘要: 为什么要学习handler? 如果定制更高级的请求头,随着业务逻辑的复杂请求对象的定制已经满足不了我们的需求(动态cookie和代理不能使用请求对象的定制) 1.Handler处理器的基本使用 #Handler的基本使用 import urllib.request url = 'http://www 阅读全文
posted @ 2022-05-24 13:21 创客未来 阅读(71) 评论(0) 推荐(0)
摘要: 适用场景:数据采集的时候需要经过登录然后进入到某个页面 案例目的是跳过登录直接进入个人信息页面 经过分析: 1.请求的url地址为:https://weibo.cn/2954041765/info 2.请求方式为:get 代码如下: #适用的场景:数据采集的时候需要绕过登录然后进入到某个页面 # i 阅读全文
posted @ 2022-05-24 09:39 创客未来 阅读(176) 评论(0) 推荐(0)