11 2019 档案

chrome xpath调试
摘要： 阅读全文
posted @ 2019-11-29 16:22 liuxianglong 阅读(211) 评论(0) 推荐(0)
脚本(bat、shell)调用conda
摘要：官网说明：https://docs.conda.io/projects/conda/en/latest/user-guide/troubleshooting.html#using-conda-in-windows-batch-script-exits-early bat中调用conda 需要使用CA 阅读全文
posted @ 2019-11-28 13:01 liuxianglong 阅读(2407) 评论(0) 推荐(0)
CrawlerRunner没有Log输出
摘要：官网log说明：https://docs.scrapy.org/en/latest/topics/logging.html#scrapy.utils.log.configure_logging 这里记一点容易遗漏的问题： 就是使用CrawlerProcesser类scrapy会加载settings. 阅读全文
posted @ 2019-11-26 16:45 liuxianglong 阅读(418) 评论(0) 推荐(0)
解决django或者其他线程中调用scrapy报ReactorNotRestartable的错误
摘要：官网中关于ReactorNotRestartable的错误描述（摘自：https://twistedmatrix.com/documents/16.1.0/api/twisted.internet.error.html），我们将从scrapy源码分析这个问题 重点要了解scrapy源码下的crawl 阅读全文
posted @ 2019-11-26 11:58 liuxianglong 阅读(3220) 评论(0) 推荐(0)
理解twisted中的reactor和deferred（二）
摘要：Deferred可以添加多个回调函数，每个回调函数的结果作为下一个回调函数的参数 代码实例（可在pycharm中运行，摘自 https://twistedmatrix.com/documents/current/core/howto/defer.html） from twisted.internet 阅读全文
posted @ 2019-11-25 14:43 liuxianglong 阅读(314) 评论(0) 推荐(0)
理解twisted中的reactor和deferred（一）
摘要：Deferred是一个延迟加载对象，这个概念类似于tornado future，是调用异步操作返回的一个对象，其中包括了操作成功后的回调处理，错误后的回调处理。 简单讲，当我们需要执行一个耗时操作，比如下载某个大图片，此时用twisted的异步http请求，会给我们返回一个Deferred对象，让我 阅读全文
posted @ 2019-11-25 13:05 liuxianglong 阅读(470) 评论(0) 推荐(0)
修改 Django Administration
摘要：只需要在django项目下的APP下的admin.py重写以下几个变量即可，不需要改django源码 from django.contrib import admin admin.site.site_title = "登陆xxx管理系统" # 这个会在登陆的时候显示在浏览器标签页 admin.sit 阅读全文
posted @ 2019-11-18 11:13 liuxianglong 阅读(344) 评论(0) 推荐(0)