眼镜儿

摘要： from .defaults import BLOOMFILTER_BIT, BLOOMFILTER_HASH_NUMBERclass HashMap(object): def __init__(self, m, seed): self.m = m self.seed = seed def hash 阅读全文

摘要： 1. 运行一个装有python3 和 scrapy-redis的容器 2. 拷贝分布式代码， 提交镜像 x 3. 编写dokcerfile。 from x workdir 项目目录 cmd scrapy crawl xx 4. docker build -t name:v1 5. docker ru 阅读全文

摘要： 1. 安装 pip install scrapy_redis 2. 爬虫文件 scrapy-redis提供了两种爬虫 from scrapy_redis.spiders import RedisSpider class MySpider(RedisSpider): """Spider that re 阅读全文

摘要： 1. 构造序列 方式： 1. 通过同质的列表或元祖创建 2.通过字典构建 3.通过numpy中的一维数组创建 4.通过DataFrame中的某一列创建 阅读全文

摘要： Scrapy-Redis 空跑问题，redis_key链接跑完后，自动关闭爬虫 问题： scrapy-redis框架中，reids存储的xxx:requests已经爬取完毕，但程序仍然一直运行，如何自动停止程序，结束空跑。 相信大家都很头疼，尤其是网上一堆搬来搬去的帖子，来看一下 我是如何解决这个问 阅读全文

摘要： python学习之-- 动态导入模块 python 动态导入模块方法1： __import__ 说明： 1. 函数功能用于动态的导入模块，主要用于反射或者延迟加载模块。 2. __import__(module)相当于import module 举例说明： 首先创建一个模块目录lib,然后在目录内创 阅读全文

摘要： docker的几个术语 镜像image 容齐container docker client docker daemon : 接受客户端请求，实现功能并返回结果 registry ： 仓库 docker 常用命令 container操作 run 创建一个新的容器并运行一个命令 docker run - 阅读全文

摘要： 中间件是Scrapy里面的一个核心概念。使用中间件可以在爬虫的请求发起之前或者请求返回之后对数据进行定制化修改，从而开发出适应不同情况的爬虫。 “中间件”这个中文名字和前面章节讲到的“中间人”只有一字之差。它们做的事情确实也非常相似。中间件和中间人都能在中途劫持数据，做一些修改再把数据传递出去。不同 阅读全文

摘要： from scrapy.utils.project import get_project_settingssettings = get_project_settings() 阅读全文

摘要： step1 ： 先来为我们的请求应用一下我们自己构造的cookie 先构造一个字典 import requests cookie = {'test' : 123456} cookies = requests.utils.cookiejar_from_dict(cookie) # 这样我们就构造了一个 阅读全文