2018年5月16日
Scrapy爬取人人网
摘要： Scrapy发送Post请求 防止爬虫被反主要有以下几个策略 动态设置User-Agent（随机切换User-Agent，模拟不同用户的浏览器信息） 禁用Cookies（也就是不启用cookies middleware，不向Server发送cookies，有些网站通过cookie的使用发现爬虫行为） 阅读全文
posted @ 2018-05-16 22:40 一只小小的寄居蟹 阅读(777) 评论(0) 推荐(0)