scrapy - 随笔分类 - lshan

SpiderHttpUtils (java 爬虫工具类＆　xpathutils, httputils)

该文被密码保护。

posted @ 2021-12-16 18:55 lshan 阅读(0) 评论(0) 推荐(0)

摘要：在dockerhub上发现了一些更加小的官方镜像： link: https://registry.hub.docker.com/_/python?tab=tags&page=1&ordering=last_updated docker pull python:3.7.11-slim 113MB do 阅读全文

posted @ 2021-07-14 10:32 lshan 阅读(106) 评论(0) 推荐(0)

scrapy-redis redis 认证 & 配置db

摘要：# 使用scrapy_redis的调度器 SCHEDULER = "scrapy_redis.scheduler.Scheduler" # 使用scrapy_redis的去重机制 DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter" # 阅读全文

posted @ 2021-07-05 11:35 lshan 阅读(176) 评论(0) 推荐(0)

Scrapy回调函数callback传递参数的方式

摘要：Scrapy回调函数: yield Request(url=self.base_url + 'QueryInfo', headers=self.request_headers, method="POST", body=json.dumps(request_params), callback=self 阅读全文

posted @ 2021-04-30 14:20 lshan 阅读(265) 评论(0) 推荐(0)

随笔分类 - scrapy