摘要：
爬过网易云评论的都知道，网易云的歌曲都是通过 <iframe> 便签进行层层迭代，而且数据都是异步加载的，就算是使用Selenium也要进行框架的转换，非常麻烦，且效率低下。 通过Chrome抓包得到评论的URL 可以看到评论的URL使用POST传进了两个参数，这一看就是加密过的，直接访问肯定是进不 阅读全文
随笔分类 - fidder抓包
对B站各种数据进行抓包分析
2019-07-17 09:22 by Xiao_Chen, 7952 阅读, 收藏,
摘要：
写在前面：现今绝大多数的网站都使用js来加载数据，传统的请求方法很难再奏效，对动态数据的爬取现在大都分为两类爬取方法： 1. 使用Selinium等自动化测试软件去模拟浏览器，这种方法几乎可以适用于所有网站，但是缺点是效率速度太慢了，如果有别的爬取方法，优先采用其他。 2. 对网页直接进行抓包处理， 阅读全文
浙公网安备 33010602011771号