01 2020 档案

scrapyd 配置文件
摘要：Configuration file Scrapyd searches for configuration files in the following locations, and parses them in order with the latest one taking more prior 阅读全文
posted @ 2020-01-27 15:50 liuxianglong 阅读(1412) 评论(0) 推荐(0)
scrapy 带认证的代理
摘要：官方方法： from w3lib.http import basic_auth_header class CustomProxyMiddleware(object): def process_request(self, request, spider): request.meta['proxy'] 阅读全文
posted @ 2020-01-17 18:09 liuxianglong 阅读(448) 评论(0) 推荐(0)
python asyncio 出现 ValueError: too many file descriptors in select()
摘要：因为asyncio内部用到了select，而select就是系统打开文件数是有限度的，这个其实是操作系统的限制，linux打开文件的最大数默认是1024，windows默认是509，超过了这个值，程序就开始报错， https://www.cnblogs.com/shenh/p/9090586.htm 阅读全文
posted @ 2020-01-16 14:25 liuxianglong 阅读(1823) 评论(0) 推荐(0)
win10 excel 2010 独立显示两个窗口
摘要：1. Win+R打开运行窗口2. 输入 regedit 编辑注册表3. 定位到 【HKEY_CLASSES_ROOT\Excel.Sheet.12\shell\Open】4. 删除Open下的ddeexec5. 然后选中command，双击右侧窗格的”默认“，将末尾的/dde改为“%1”（注意有双引 阅读全文
posted @ 2020-01-16 14:23 liuxianglong 阅读(4377) 评论(0) 推荐(0)
误点discard all changes!!! 救命绝招
摘要：在用gitkraken来管理git代码，有的人用的Xcode，原理都一样，误点了discard all changes，然后一看自己pycharm里面的代码，没有git commit的文件和修改全部没啦！！！？？？一脸懵逼 百度谷歌都没找到答案，后来想起来pycharm里面还有个VCS的版本管理器， 阅读全文
posted @ 2020-01-10 16:43 liuxianglong 阅读(3210) 评论(0) 推荐(0)
scrapy 为什么要用yield item 而不用yield dict来传输数据
摘要：经过实践, yield dict和yield item一样有效果，不过为什么官方要用yield item ，以下是官方解释： The main goal in scraping is to extract structured data from unstructured sources, typi 阅读全文
posted @ 2020-01-08 20:18 liuxianglong 阅读(1172) 评论(0) 推荐(0)
git stash 用处
摘要：关于Git Stash的详细解释，适用场合： 使用git的时候，我们往往使用branch解决任务切换问题，例如，我们往往会建一个自己的分支去修改和调试代码, 如果别人或者自己发现原有的分支上有个不得不修改的bug，我们往往会把完成一半的代码 commit提交到本地仓库，然后切换分支去修改bug，改好 阅读全文
posted @ 2020-01-07 11:07 liuxianglong 阅读(2628) 评论(0) 推荐(1)