ShineLee

摘要： 学习自： Scrapy官方文档——CrawlerRunner相关 解决django或者其他线程中调用scrapy报ReactorNotRestartable的错误 - liuxianglong - 博客园 (6条消息) python定时启动多个爬虫，解决（twisted.internet.error 阅读全文

摘要： pyinstaller打包exe文件出现命令窗口一闪而过 原因：exe运行过程中出错了，解决这些错误就可以了 解决方法： 通过 cd path >> xxx.exe 在命令行中运行exe文件，就可以显示出运行错误了。 阅读全文

摘要： 1、DLL load failed 说明没有找到某个DLL 解决方法： 在 D:\Anaconda\Anaconda3\Library\bin 下找到缺失的DLL，复制到dist下 2、No module named xxx https://blog.csdn.net/ouening/article 阅读全文

摘要： 1、输出为CSV文件时，Permission denied 原因可能是： （1）构建DataFrame时没有写index参数 （2）用Dict构建最开始的数据时，value没有写成List的形式，例如 #错误 data={ 'name':'Lee', 'age':13 } #正确 data={ 'n 阅读全文

摘要： 总结自：Spiders — Scrapy 2.5.0 documentation Spider 1、综述 ①在回调函数Parse及其他自写的回调函数中，必须返回Item对象、Request对象、或前两种对象的迭代器形式。这些Requests同样也必须包含一个回调函数，之后它们的Response会被特 阅读全文

摘要： 问题：网页http://gk.chengdu.gov.cn/govInfo/detail.action?id=2653973&tn=2中有一个PDF需要下载，开发者模式下该PDF的链接为http://gk.chengdu.gov.cn/uploadfiles/07180246020404/20200 阅读全文

摘要： 'gbk' codec can't decode byte 0x80 in position xx open文件时，添加参数'encoding='utf-8' 'utf-8' codec can't decode byte 0x80 in position xx open文件时，添加参数'encod 阅读全文

摘要： 1、KeyError: 'Spider not found: BDS' 原因：settings.py中缺少了几项与spider名字配置相关的项： BOT_NAME = 'BDS' SPIDER_MODULES = ['County.spiders'] NEWSPIDER_MODULE = 'Coun 阅读全文

摘要： 学习自Requests and Responses — Scrapy 2.5.0 documentation Request在Spider中生成，被Downloader执行，之后会得到网页的Response 1、Request 1）构造 scrapy.http.Request(*args,**kw) 阅读全文

摘要： 学习自Scrapy 2.4.1 documentation 这一部分是对官方文档的学习，主要是理解翻译，来对之前的应用部分进行详细的理论补充。 1、保存爬取到的要素的方式： ①运行scrapy指令时，添加参数-o、-O；（大小写字母o而不是数字） ②写Pipelines.py进行更详细的要素输出； 阅读全文