李雷雷

摘要： 1.celery的任务调度 2.celery如何进行负载均衡设计 celery有send_task方式去做任务调度，因此，负载均衡的话，可以采用自己的算法去做任务分配，可参考：http://blog.csdn.net/vintage_1/article/details/47664187 阅读全文

摘要： 1.tornado 一个精简的异步爬虫（来自tornado的demo） 2.tornado的定时回调 阅读全文

摘要： 原文链接：Python Click 学习笔记 Click 是 Flask 的团队 pallets 开发的优秀开源项目，它为命令行工具的开发封装了大量方法，使开发者只需要专注于功能实现。恰好我最近在开发的一个小工具需要在命令行环境下操作，就写个学习笔记。 国际惯例，先来一段 “Hello World” 阅读全文

摘要： 1.炒股类 http://tushare.org/index.html 阅读全文

摘要： 最近有一个私人项目要搞，可能最近的博客都会变成爬虫跟数据分析类的了。既然是爬虫，第一反应想到的就是鼎鼎大名的scrapy了，其次想到的pyspider，最后想到的就是自己写。 scrapy是封装了twisted的一个爬虫框架，项目结构比较清晰 其中Item Pipeline决定了数据传输跟保存的结构 阅读全文

摘要： Scrapy不方便调试，但是为了深入学习框架内部的一些原理，有时候仅仅依靠日志是不够的。下面提供一种scrapy的debug方式 demo直接用来自官方例子来演示：https://github.com/scrapy/quotesbot 在运行 scrapy 库时，其实是相当于运行一个 python 阅读全文

摘要： uiautomator是一个非侵入式框架，但是webview解析能力很弱。为了改进webview的支持，可以考虑把webdriver或者selenroid整合进来。 具体接入可参考：http://selendroid.io/hybrid.html 具体demo可参考：https://github.c 阅读全文

摘要： 在linux底层 Linux/include/uapi/linux/usbdevice_fs.h中，重置_IO('U', 20)可以重置usb设备。 因此，我们可以在脚本中利用这个方法去重置USB 代码链接：https://gist.github.com/PaulFurtado/fce98aef89 阅读全文

摘要： 1.Slave主机docker需要开启2375端口 ubuntu： sudo vim /etc/default/docker DOCKER_OPTS="-H=unix:///var/run/docker.sock -H=0.0.0.0:2375" Centos： sudo vim /etc/sysc 阅读全文

摘要： 一.Dockerfile合理分层 Dockerfile的写法不合理，有时候会导致镜像膨胀，由于Docker是分层设计，而在Dockerfile中，每一条指令都拥有自己的context，而执行到下一条指令时，则会将下一层的构建层叠加到上一层上。因此，假如你在上一层指令做了一些包下载操作安装操作，然后在 阅读全文