2022年8月4日
python爬虫---scrapy解析数，settings配置提高爬取效率，持久化方案，全站爬取cnblogs，加代理，cookie，header加入selenium，去重规则源码分析，scrapy-redis实现分布式爬虫
摘要： scrapy解析数据 response对象有css方法和xpath方法： -css中写css选择器 -xpath中写xpath选择 重点 -xpath取文本内容 './/a[contains(@class,"link-title")]/text()' -xpath取属性 './/a[contains 阅读全文
posted @ 2022-08-04 20:14 早安_1207 阅读(149) 评论(0) 推荐(0)
返回顶端