摘要：https://mp.weixin.qq.com/s/StqqafHePlBkWAPQZg3NrA https://mp.weixin.qq.com/s/tLLNMnPoYxO7DVumZvOM4g http://blog.haoji.me/https.html 阅读全文

摘要："headless chrome.puppeteer(node api)" Puppeteer是一个Node库，它提供了一个高级API来通过DevTools协议控制无头 Chrome或Chromium 。 它也可以配置为使用完整（非无头）Chrome或Chromium。 1、Puppeteer至少需 阅读全文

摘要：0x01 常见的反爬虫 这几天在爬一个网站，网站做了很多反爬虫工作，爬起来有些艰难，花了一些时间才绕过反爬虫。在这里把我写爬虫以来遇到的各种反爬虫策略和应对的方法总结一下。 从功能上来讲，爬虫一般分为数据采集，处理，储存三个部分。这里我们只讨论数据采集部分。 一般网站从三个方面反爬虫：用户请求的Headers，用户行为，网站目录和数据加载方式。前两种比较容易遇到，大多数网站都从这些角度... 阅读全文