摘要: 1.pom配置 参考:http://412887952-qq-com.iteye.com/blog/2300313 2.intellij配置 参考:http://blog.csdn.net/wjc475869/article/details/52442484阅读全文
posted @ 2017-11-30 23:30 李雷雷alexkn 阅读(1) 评论(0) 编辑
摘要: A服务器是master,B服务器为worker, A服务器上执行taskManger.py B服务器上执行worker的脚本taskWorker.py阅读全文
posted @ 2017-09-23 17:37 李雷雷alexkn 阅读(19) 评论(0) 编辑
摘要: https://github.com/macacajs/wd.py/blob/3bc4334bcb68733cb230b59d6164110053fd1c16/tests/macaca/test_util.py阅读全文
posted @ 2017-09-06 16:33 李雷雷alexkn 阅读(7) 评论(0) 编辑
摘要: 在工作中,经常需要解析不同类型的文件,常用的可能就是正则表达式了,简单点的,可能会使用awk。这里要推荐一种比较小众的方式,使用pyparsing来解析文件。 pyparsing可以做些什么呢?主要可以相当方便地定制自己的tokenizer,因此可以很容易拓展,实现自己的parser 下面看一个tr阅读全文
posted @ 2017-07-07 00:08 李雷雷alexkn 阅读(111) 评论(0) 编辑
摘要: 机智的防爬虫标识原创博客地址:http://www.cnblogs.com/alexkn/p/7095855.html博客求关注: http://www.cnblogs.com/alexkn 1.启动时间测试常用方案介绍 如何精确测试启动时间,其实这个问题可大可小,主要需要看团队对启动时间的测试精度阅读全文
posted @ 2017-06-29 18:22 李雷雷alexkn 阅读(229) 评论(0) 编辑
摘要: 一.环境配置 不赘述,直接看wiki:https://wiki.jenkins.io/display/JENKINS/Extend+Jenkins 二.内容说明 1.插件代码结构 src/main/java:主要存放Java 源码文件. src/main/resources:Jelly/Groovy阅读全文
posted @ 2017-06-27 22:55 李雷雷alexkn 阅读(90) 评论(0) 编辑
摘要: 因为一个朋友最近想搞接口压力测试,推荐了jmeter,因为jmeter开源,且有命令行启动模式,方便封装。兴起时,自己也简单实现了一下高并发的脚本。 一开始想到的采用的是多进程+多线程+协程。想法是这样的,多进程是为了有效利用多核,理论上最好一个核对应一个进程比较好;那我为什么还要用多线程呢?不怕G阅读全文
posted @ 2017-06-21 15:28 李雷雷alexkn 阅读(135) 评论(0) 编辑
摘要: 回调函数用起来比较爽。特别是在js中,满世界全是回调,那么在python中,怎么来优雅地实现自己的回调函数呢 下面贴一个我写的例子 在这里实现的是当self.crawl指定callback方法时,self.crawl会在接收到start_url参数执行完成后回调self.index_url。 而实现阅读全文
posted @ 2017-06-19 23:43 李雷雷alexkn 阅读(223) 评论(0) 编辑
摘要: 1.celery的任务调度 2.celery如何进行负载均衡设计 celery有send_task方式去做任务调度,因此,负载均衡的话,可以采用自己的算法去做任务分配,可参考:http://blog.csdn.net/vintage_1/article/details/47664187阅读全文
posted @ 2017-06-16 00:22 李雷雷alexkn 阅读(28) 评论(0) 编辑
摘要: 1.tornado 一个精简的异步爬虫(来自tornado的demo) 2.tornado的定时回调阅读全文
posted @ 2017-06-13 15:01 李雷雷alexkn 阅读(58) 评论(0) 编辑