2020 年 3月 30 日随笔档案 - 共感的艺术

2020年3月30日

摘要： scrapy-redis的spider: # -*- coding: utf-8 -*- import scrapy import example.items from scrapy_redis.spiders import RedisSpider class TencentSpider(Redis 阅读全文

posted @ 2020-03-30 21:26 共感的艺术阅读(592) 评论(0) 推荐(0)

scrapy-redis存储数据库，四种设置代码，mycrawler_redis

摘要： scrapy-redis的spider: # -*- coding: utf-8 -*- import scrapy import re import example.items #引用外部文件 from scrapy.linkextractors import LinkExtractor #链接提阅读全文

posted @ 2020-03-30 21:06 共感的艺术阅读(303) 评论(0) 推荐(0)

scrapy-redis成功存储到数据库数据，四个代码设置，dmoz

摘要： scrapy-redis的提取spider: # -*- coding: utf-8 -*- import scrapy import re import example.items #修改引用外部文件 #导入内部itens from scrapy.linkextractors import Li 阅读全文

posted @ 2020-03-30 20:31 共感的艺术阅读(751) 评论(0) 推荐(0)

pip更新失败，超时的解决方法

摘要： pip源的更改： pip的默认源在国外，pip install some_packages特别慢，经常会超时，导致安装失败； pip 更换为国内的镜像一：使用方法： ①临时使用： pip install -i https://pypi.tuna.tsinghua.edu.cn/simple 库名阅读全文

posted @ 2020-03-30 18:10 共感的艺术阅读(1925) 评论(0) 推荐(0)