NachoLau

摘要： docker run -p 127.0.0.1:6379:6379 --name nliu_redis -v /mnt/nliu/check/redis.conf:/etc/redis/redis.conf -d redis:5.0.5 redis-server /etc/redis/redis.c 阅读全文

摘要： a = {} source = "Linkedin" a[source ] = a.setdefault(source , 0) + 1 阅读全文

摘要： Using the bulk_write can speed the mongo up, compared with the one by one update or insert. 阅读全文

摘要： import reimport unicodecsv f = open('../content_6_18.csv', 'rb')f2 = open('pattern_1.csv', 'wb')reader = unicodecsv.reader(f) # utf-8-sig 防止个别字符乱码 wri 阅读全文

摘要： 先把不用的数据移除掉, 再分组等操作 阅读全文

摘要： Anaconda环境的创建 其中py3表示创建环境的名字，后面python=3.5表示创建的版本。这个是在创建环境的时候同时安装包 Anaconda环境的激活 在 OSX/Linux 上 py3为环境名，上述表示激活py3 windows下 Anaconda环境的管理 列出所有环境 删除环境 上述表 阅读全文

摘要： 命令: spider.py 用hashlib来制作哈希值来放在Redis中, 可以减少放在Redis中的为了校验是否存在的内容 spider.py settings.py pipelines.py 阅读全文

摘要： crawlspider 命令 spider.py scrapy-redis命令 运行命令: 流程 D:\program files\redis配置文件的配置: spider2.py setttings.py items.py 阅读全文

摘要： myspider.py middlewares.py 在中间件判断是否需要使用selenium来爬取内容的版本 阅读全文

摘要： settings.py 第55行 myspider.py middlewares.py 阅读全文