摘要：
开发工具 Python版本：3.6.4 相关模块： DecryptLogin模块； 以及一些Python自带的模块。 环境搭建 安装Python并添加到环境变量，pip安装需要的相关模块即可。 原理简介 一. 要求 实时监控某个微博用户有没有发新的微博。 二... 阅读全文
posted @ 2022-10-07 20:50
I'm_江河湖海
阅读(40)
评论(0)
推荐(0)
摘要：
开发工具 Python版本：3.6.4 相关模块： DecryptLogin模块； 以及一些Python自带的模块。 环境搭建 安装Python并添加到环境变量，pip安装需要的相关模块即可。 原理简介 一. 要求 实时监控某个微博用户有没有发新的微博。 二... 阅读全文
posted @ 2022-10-07 20:50
I'm_江河湖海
阅读(23)
评论(0)
推荐(0)
摘要：
唐纳德·克努特（Donald Knuth）曾经说过：“不成熟的优化方案是万恶之源。”然而，任何一个承受高负载的成熟项目都不可避免地需要进行优化。在本文中，我想谈谈优化Web项目代码的五种常用方法。虽然本文是以Django为例，但其他框架和语言的优化原则也是类似... 阅读全文
posted @ 2022-10-07 20:50
I'm_江河湖海
阅读(227)
评论(0)
推荐(0)
摘要：
唐纳德·克努特（Donald Knuth）曾经说过：“不成熟的优化方案是万恶之源。”然而，任何一个承受高负载的成熟项目都不可避免地需要进行优化。在本文中，我想谈谈优化Web项目代码的五种常用方法。虽然本文是以Django为例，但其他框架和语言的优化原则也是类似... 阅读全文
posted @ 2022-10-07 20:50
I'm_江河湖海
阅读(90)
评论(0)
推荐(0)
摘要：
相信大家对 Linux 再熟悉不过了。我们都知道 Linux继承自 Unix，但其实他们上一代还有一个 Multics。从最早的 Multics 发展到最早版本的 Linux，用了 28 年。这其中有四位天才级大师的贡献功不可没。现在就大家一起来回顾一下这段历... 阅读全文
posted @ 2022-10-07 20:50
I'm_江河湖海
阅读(21)
评论(0)
推荐(0)
摘要：
相信大家对 Linux 再熟悉不过了。我们都知道 Linux继承自 Unix，但其实他们上一代还有一个 Multics。从最早的 Multics 发展到最早版本的 Linux，用了 28 年。这其中有四位天才级大师的贡献功不可没。现在就大家一起来回顾一下这段历... 阅读全文
posted @ 2022-10-07 20:50
I'm_江河湖海
阅读(24)
评论(0)
推荐(0)
摘要：
之前我水平有限，对于淘宝评论这种动态网页，由于数据在网页源码中是找不到的，所以无法抓取数据，只能使用selenium模仿人操控浏览器来抓数据， 优点是可见容易且不宜被淘宝公司封锁；缺点是速度太慢。 经过今天一天的钻研，终于学会分析数据包，而且淘宝评论的数据包都... 阅读全文
posted @ 2022-10-07 20:50
I'm_江河湖海
阅读(20)
评论(0)
推荐(0)
摘要：
之前我水平有限，对于淘宝评论这种动态网页，由于数据在网页源码中是找不到的，所以无法抓取数据，只能使用selenium模仿人操控浏览器来抓数据， 优点是可见容易且不宜被淘宝公司封锁；缺点是速度太慢。 经过今天一天的钻研，终于学会分析数据包，而且淘宝评论的数据包都... 阅读全文
posted @ 2022-10-07 20:50
I'm_江河湖海
阅读(13)
评论(0)
推荐(0)
摘要：
写爬虫防止被封的关键有以下几点： 伪装请求报头（request header） 减轻访问频率，速度 使用代理IP 一般第一点都能做到，第二点减轻访问频率就会大大增加任务时间，而使用代理就能在不增加任务时长避免被封的关键（实际情况却是任务时间因为代理的使用而增加... 阅读全文
posted @ 2022-10-07 20:50
I'm_江河湖海
阅读(17)
评论(0)
推荐(0)
摘要：
写爬虫防止被封的关键有以下几点： 伪装请求报头（request header） 减轻访问频率，速度 使用代理IP 一般第一点都能做到，第二点减轻访问频率就会大大增加任务时间，而使用代理就能在不增加任务时长避免被封的关键（实际情况却是任务时间因为代理的使用而增加... 阅读全文
posted @ 2022-10-07 20:50
I'm_江河湖海
阅读(18)
评论(0)
推荐(0)
浙公网安备 33010602011771号