摘要: A服务器是master,B服务器为worker, A服务器上执行taskManger.py B服务器上执行worker的脚本taskWorker.py阅读全文
posted @ 2017-09-23 17:37 李雷雷alexkn 阅读(8) 评论(0) 编辑
摘要: https://github.com/macacajs/wd.py/blob/3bc4334bcb68733cb230b59d6164110053fd1c16/tests/macaca/test_util.py阅读全文
posted @ 2017-09-06 16:33 李雷雷alexkn 阅读(4) 评论(0) 编辑
摘要: 在工作中,经常需要解析不同类型的文件,常用的可能就是正则表达式了,简单点的,可能会使用awk。这里要推荐一种比较小众的方式,使用pyparsing来解析文件。 pyparsing可以做些什么呢?主要可以相当方便地定制自己的tokenizer,因此可以很容易拓展,实现自己的parser 下面看一个tr阅读全文
posted @ 2017-07-07 00:08 李雷雷alexkn 阅读(96) 评论(0) 编辑
摘要: 机智的防爬虫标识原创博客地址:http://www.cnblogs.com/alexkn/p/7095855.html博客求关注: http://www.cnblogs.com/alexkn 1.启动时间测试常用方案介绍 如何精确测试启动时间,其实这个问题可大可小,主要需要看团队对启动时间的测试精度阅读全文
posted @ 2017-06-29 18:22 李雷雷alexkn 阅读(193) 评论(0) 编辑
摘要: 一.环境配置 不赘述,直接看wiki:https://wiki.jenkins.io/display/JENKINS/Extend+Jenkins 二.内容说明 1.插件代码结构 src/main/java:主要存放Java 源码文件. src/main/resources:Jelly/Groovy阅读全文
posted @ 2017-06-27 22:55 李雷雷alexkn 阅读(66) 评论(0) 编辑
摘要: 因为一个朋友最近想搞接口压力测试,推荐了jmeter,因为jmeter开源,且有命令行启动模式,方便封装。兴起时,自己也简单实现了一下高并发的脚本。 一开始想到的采用的是多进程+多线程+协程。想法是这样的,多进程是为了有效利用多核,理论上最好一个核对应一个进程比较好;那我为什么还要用多线程呢?不怕G阅读全文
posted @ 2017-06-21 15:28 李雷雷alexkn 阅读(113) 评论(0) 编辑
摘要: 回调函数用起来比较爽。特别是在js中,满世界全是回调,那么在python中,怎么来优雅地实现自己的回调函数呢 下面贴一个我写的例子 在这里实现的是当self.crawl指定callback方法时,self.crawl会在接收到start_url参数执行完成后回调self.index_url。 而实现阅读全文
posted @ 2017-06-19 23:43 李雷雷alexkn 阅读(156) 评论(0) 编辑
摘要: 1.celery的任务调度 2.celery如何进行负载均衡设计 celery有send_task方式去做任务调度,因此,负载均衡的话,可以采用自己的算法去做任务分配,可参考:http://blog.csdn.net/vintage_1/article/details/47664187阅读全文
posted @ 2017-06-16 00:22 李雷雷alexkn 阅读(23) 评论(0) 编辑
摘要: 1.tornado 一个精简的异步爬虫(来自tornado的demo) 2.tornado的定时回调阅读全文
posted @ 2017-06-13 15:01 李雷雷alexkn 阅读(50) 评论(0) 编辑
摘要: 原文链接:Python Click 学习笔记 Click 是 Flask 的团队 pallets 开发的优秀开源项目,它为命令行工具的开发封装了大量方法,使开发者只需要专注于功能实现。恰好我最近在开发的一个小工具需要在命令行环境下操作,就写个学习笔记。 国际惯例,先来一段 “Hello World”阅读全文
posted @ 2017-06-10 23:45 李雷雷alexkn 阅读(532) 评论(0) 编辑