吉阿吉

2021年4月20日

异步redis

摘要： 数据库的链接，断开及操作都是网络IO pip install aioredis 阅读全文

posted @ 2021-04-20 23:58 吉阿吉 阅读(44) 评论(0) 推荐(0)

京东爬虫

摘要： 总体采用广度优先策略 一、分析分类信息URL: https://dc.3.cn/category/get 阅读全文

posted @ 2021-04-20 21:28 吉阿吉 阅读(258) 评论(0) 推荐(0)

代理池项目

摘要： 一、代理池概述 免费代理不稳定，通常只有10%可用，便宜收费代理也只有30%-50%的可用，只有代理IP提供商可提供高可用的代理。(智连HTTP) 五、代理池工具模块 1.日志模块，日志代码项目之间可以复用 import sysimport loggingLOG_LEVEL=logging.INFO 阅读全文

posted @ 2021-04-20 21:10 吉阿吉 阅读(125) 评论(0) 推荐(0)

国家企业信用公告系统爬虫

摘要： 一、直接请求报错 [scrapy.spidermiddlewares.httperror] INFO: Ignoring response <521 http://www.gsxt.gov.cn/corp-query-entprise-info-xxgg-100000.html>: HTTP sta 阅读全文

posted @ 2021-04-20 15:31 吉阿吉 阅读(764) 评论(0) 推荐(0)

scrapy爬虫错误笔记

摘要： 一、 twisted.web._newclient.ResponseNeverReceived: [<twisted.python.failure.Failure twisted.internet.error.ConnectionLost: Connection to the other side 阅读全文

posted @ 2021-04-20 15:12 吉阿吉 阅读(452) 评论(0) 推荐(0)

导航