随笔分类 -  爬虫

基于scrapy的多阶段式通用爬虫框架
摘要：通过设置配置字段传入，实现抓取不同界面的数据，可通过自定义管道方式设置数据流向 抓取例子： 详情见github: base_spider 项目地址 阅读全文
posted @ 2024-08-04 15:36 ling-yuan 阅读(4) 评论(0) 推荐(0)