摘要:
开发工具 Python版本:3.6.4 相关模块: DecryptLogin模块; 以及一些Python自带的模块。 环境搭建 安装Python并添加到环境变量,pip安装需要的相关模块即可。 原理简介 一. 要求 实时监控某个微博用户有没有发新的微博。 二... 阅读全文
posted @ 2022-10-07 20:50
I'm_江河湖海
阅读(40)
评论(0)
推荐(0)
摘要:
开发工具 Python版本:3.6.4 相关模块: DecryptLogin模块; 以及一些Python自带的模块。 环境搭建 安装Python并添加到环境变量,pip安装需要的相关模块即可。 原理简介 一. 要求 实时监控某个微博用户有没有发新的微博。 二... 阅读全文
posted @ 2022-10-07 20:50
I'm_江河湖海
阅读(23)
评论(0)
推荐(0)
摘要:
唐纳德·克努特(Donald Knuth)曾经说过:“不成熟的优化方案是万恶之源。”然而,任何一个承受高负载的成熟项目都不可避免地需要进行优化。在本文中,我想谈谈优化Web项目代码的五种常用方法。虽然本文是以Django为例,但其他框架和语言的优化原则也是类似... 阅读全文
posted @ 2022-10-07 20:50
I'm_江河湖海
阅读(227)
评论(0)
推荐(0)
摘要:
唐纳德·克努特(Donald Knuth)曾经说过:“不成熟的优化方案是万恶之源。”然而,任何一个承受高负载的成熟项目都不可避免地需要进行优化。在本文中,我想谈谈优化Web项目代码的五种常用方法。虽然本文是以Django为例,但其他框架和语言的优化原则也是类似... 阅读全文
posted @ 2022-10-07 20:50
I'm_江河湖海
阅读(90)
评论(0)
推荐(0)
摘要:
相信大家对 Linux 再熟悉不过了。我们都知道 Linux继承自 Unix,但其实他们上一代还有一个 Multics。从最早的 Multics 发展到最早版本的 Linux,用了 28 年。这其中有四位天才级大师的贡献功不可没。现在就大家一起来回顾一下这段历... 阅读全文
posted @ 2022-10-07 20:50
I'm_江河湖海
阅读(21)
评论(0)
推荐(0)
摘要:
相信大家对 Linux 再熟悉不过了。我们都知道 Linux继承自 Unix,但其实他们上一代还有一个 Multics。从最早的 Multics 发展到最早版本的 Linux,用了 28 年。这其中有四位天才级大师的贡献功不可没。现在就大家一起来回顾一下这段历... 阅读全文
posted @ 2022-10-07 20:50
I'm_江河湖海
阅读(24)
评论(0)
推荐(0)
摘要:
之前我水平有限,对于淘宝评论这种动态网页,由于数据在网页源码中是找不到的,所以无法抓取数据,只能使用selenium模仿人操控浏览器来抓数据, 优点是可见容易且不宜被淘宝公司封锁;缺点是速度太慢。 经过今天一天的钻研,终于学会分析数据包,而且淘宝评论的数据包都... 阅读全文
posted @ 2022-10-07 20:50
I'm_江河湖海
阅读(20)
评论(0)
推荐(0)
摘要:
之前我水平有限,对于淘宝评论这种动态网页,由于数据在网页源码中是找不到的,所以无法抓取数据,只能使用selenium模仿人操控浏览器来抓数据, 优点是可见容易且不宜被淘宝公司封锁;缺点是速度太慢。 经过今天一天的钻研,终于学会分析数据包,而且淘宝评论的数据包都... 阅读全文
posted @ 2022-10-07 20:50
I'm_江河湖海
阅读(13)
评论(0)
推荐(0)
摘要:
写爬虫防止被封的关键有以下几点: 伪装请求报头(request header) 减轻访问频率,速度 使用代理IP 一般第一点都能做到,第二点减轻访问频率就会大大增加任务时间,而使用代理就能在不增加任务时长避免被封的关键(实际情况却是任务时间因为代理的使用而增加... 阅读全文
posted @ 2022-10-07 20:50
I'm_江河湖海
阅读(17)
评论(0)
推荐(0)
摘要:
写爬虫防止被封的关键有以下几点: 伪装请求报头(request header) 减轻访问频率,速度 使用代理IP 一般第一点都能做到,第二点减轻访问频率就会大大增加任务时间,而使用代理就能在不增加任务时长避免被封的关键(实际情况却是任务时间因为代理的使用而增加... 阅读全文
posted @ 2022-10-07 20:50
I'm_江河湖海
阅读(18)
评论(0)
推荐(0)

浙公网安备 33010602011771号