摘要：
Python作为一门动态语言，其变量的类型可以自由变化。这个特性提高了代码的开发效率，却也增加了阅读代码和维护代码的难度。 假设有一个变量is_request_finished，从名字上来看，这个变量的值应该为True或者False，在写代码的时候，最初也确实... 阅读全文
posted @ 2022-10-07 20:50
I'm_江河湖海
阅读(29)
评论(0)
推荐(0)
摘要：
相信大家对 Linux 再熟悉不过了。我们都知道 Linux继承自 Unix，但其实他们上一代还有一个 Multics。从最早的 Multics 发展到最早版本的 Linux，用了 28 年。这其中有四位天才级大师的贡献功不可没。现在就大家一起来回顾一下这段历... 阅读全文
posted @ 2022-10-07 20:50
I'm_江河湖海
阅读(41)
评论(0)
推荐(0)
摘要：
相信大家对 Linux 再熟悉不过了。我们都知道 Linux继承自 Unix，但其实他们上一代还有一个 Multics。从最早的 Multics 发展到最早版本的 Linux，用了 28 年。这其中有四位天才级大师的贡献功不可没。现在就大家一起来回顾一下这段历... 阅读全文
posted @ 2022-10-07 20:50
I'm_江河湖海
阅读(38)
评论(0)
推荐(0)
摘要：
之前我水平有限，对于淘宝评论这种动态网页，由于数据在网页源码中是找不到的，所以无法抓取数据，只能使用selenium模仿人操控浏览器来抓数据， 优点是可见容易且不宜被淘宝公司封锁；缺点是速度太慢。 经过今天一天的钻研，终于学会分析数据包，而且淘宝评论的数据包都... 阅读全文
posted @ 2022-10-07 20:50
I'm_江河湖海
阅读(55)
评论(0)
推荐(0)
摘要：
之前我水平有限，对于淘宝评论这种动态网页，由于数据在网页源码中是找不到的，所以无法抓取数据，只能使用selenium模仿人操控浏览器来抓数据， 优点是可见容易且不宜被淘宝公司封锁；缺点是速度太慢。 经过今天一天的钻研，终于学会分析数据包，而且淘宝评论的数据包都... 阅读全文
posted @ 2022-10-07 20:50
I'm_江河湖海
阅读(32)
评论(0)
推荐(0)
摘要：
写爬虫防止被封的关键有以下几点： 伪装请求报头（request header） 减轻访问频率，速度 使用代理IP 一般第一点都能做到，第二点减轻访问频率就会大大增加任务时间，而使用代理就能在不增加任务时长避免被封的关键（实际情况却是任务时间因为代理的使用而增加... 阅读全文
posted @ 2022-10-07 20:50
I'm_江河湖海
阅读(38)
评论(0)
推荐(0)
摘要：
写爬虫防止被封的关键有以下几点： 伪装请求报头（request header） 减轻访问频率，速度 使用代理IP 一般第一点都能做到，第二点减轻访问频率就会大大增加任务时间，而使用代理就能在不增加任务时长避免被封的关键（实际情况却是任务时间因为代理的使用而增加... 阅读全文
posted @ 2022-10-07 20:50
I'm_江河湖海
阅读(47)
评论(0)
推荐(0)
摘要：
经过多次尝试，模拟登录淘宝终于成功了，实在是不容易，淘宝的登录加密和验证太复杂了，煞费苦心，在此写出来和大家一起分享，希望大家支持。 温馨提示 现在淘宝换成了滑块验证了，比较难解决这个问题，以下的代码没法用了，仅作学习参考研究之用吧。 本篇内容 1. pyth... 阅读全文
posted @ 2022-10-07 20:50
I'm_江河湖海
阅读(77)
评论(0)
推荐(0)
摘要：
经过多次尝试，模拟登录淘宝终于成功了，实在是不容易，淘宝的登录加密和验证太复杂了，煞费苦心，在此写出来和大家一起分享，希望大家支持。 温馨提示 现在淘宝换成了滑块验证了，比较难解决这个问题，以下的代码没法用了，仅作学习参考研究之用吧。 本篇内容 1. pyth... 阅读全文
posted @ 2022-10-07 20:50
I'm_江河湖海
阅读(618)
评论(0)
推荐(0)
摘要：
大家好，本次为大家带来的是抓取爱问知识人的问题并将问题和答案保存到数据库的方法，涉及的内容包括： Urllib的用法及异常处理 Beautiful Soup的简单应用 MySQLdb的基础用法 正则表达式的简单应用 环境配置 在这之前，我们需要先配置一下环境，... 阅读全文
posted @ 2022-10-07 20:50
I'm_江河湖海
阅读(41)
评论(0)
推荐(0)
浙公网安备 33010602011771号