2021年1月16日
动态网页爬取流程总结
摘要： 众所周知，动态网站通常使用例如ajax等异步加载技术来加载网页，相比于静态网页，动态网页通常包含多个请求，且数据往往并不存在于网页源码中，我们便需要通过抓包来寻找数据所在的请求并分析，编写响应的爬虫代码。动态网站的爬取包含下以下三个步骤：抓包，分析参数，提取数据。（以下使用爬取b站评论来作为讲解案例 阅读全文
posted @ 2021-01-16 23:35 Epitaph 阅读(1951) 评论(0) 推荐(0) 编辑