摘要: 第一部分 Python基础篇(80题) 1. 为什么学习Python? 2. 通过什么途径学习的Python? 3. Python和Java、PHP、C、C#、C++等其他语言的对比? 4. 简述解释型和编译型编程语言? 5. Python解释器种类以及特点? 6. 位和字节的关系? 7. b、B、 阅读全文
posted @ 2019-08-03 12:01 hellopythonbobo 阅读(319) 评论(0) 推荐(0)
摘要: 1、限制IP单位时间访问次数还有频率 背景:没有哪个常人一秒钟内能访问相同网站N次(不管是不是同一个网页) 解决办法:一般遇到这种情况我们就放缓采集频率,不管你写代码添加Sleep,或者在我们八爪鱼里面设置间隔时间都可以解决 进化1:有些高级点的防采集策略,他甚至监控到每个请求的频率,如果一直处于同 阅读全文
posted @ 2019-08-03 11:48 hellopythonbobo 阅读(2227) 评论(0) 推荐(0)
摘要: 0x01 常见的反爬虫 这几天在爬一个网站,网站做了很多反爬虫工作,爬起来有些艰难,花了一些时间才绕过反爬虫。在这里把我写爬虫以来遇到的各种反爬虫策略和应对的方法总结一下。 从功能上来讲,爬虫一般分为数据采集,处理,储存三个部分。这里我们只讨论数据采集部分。 一般网站从三个方面反爬虫:用户请求的He 阅读全文
posted @ 2019-08-03 11:35 hellopythonbobo 阅读(2168) 评论(0) 推荐(0)