摘要：
测试用例修改自：myconnpy appears to be roughly an order of magnitude slower than MySQLdb ，在它的基础上，还加入psyco优化后的性能对比测试代码:[代码]获取10行数据：myconnpy 2.53226113319MySQLdb 0.572678804398myconnpy with psyco 1.79596400261获... 阅读全文
摘要：
使用完善的myconnpy吧！以下可以忽略!pymysql是个不错的纯python实现的mysql api，获取源代码执行一些测试发现有一些bug，目前发现的是无法处理日期和NULL，调试了一些，对connections.py进行了3处修改，测试代码就运行起来了，还有converters.py也有bug，下载 " Issue 3: undefined methods datetime_or_No... 阅读全文
摘要：
即使使用了类似tornado这样的非阻塞io web服务器，能让我们的web性能提供很多，但是在实际应用中与测试的效果相差很远，应该是说我们的测试考虑非常不全面。现在的web应用几乎不可能少了数据库访问操作，而数据库访问操作却是阻塞的, 如MySQLdb，显然，类似tornado，stackless这些协程方式编写的web，性能会受到大大的制约。解决方案：让数据库操作变成非阻塞的eventlet中... 阅读全文
摘要：
操作系统：Ubuntu 9.10下载hadoop: hadoop-0.20.1.tar.gz安装依赖软件：Java 1.6x 或以上[代码]在conf/hadoo-env.sh设在JAVA_HOME变量:[代码]ssh及sshd[代码]hadoop测试环境配置(单机, 模拟分布式环境)namenode节点配置conf/core-site.xml:[代码]hdfs测试环境配置conf/hdfs-si... 阅读全文
摘要：
Tokyo Cabinet: 下载 http://1978th.net/tokyocabinet/tokyocabinet-1.4.36.tar.gz依赖包:zlib: sudo apt-get install zlib1g-devbzip2: sudo apt-get install libbz2-dev安装:tar zxvf tokyocabinet-1.4.36.tar.gzcd tokyo... 阅读全文
摘要：
由于JSONP强大的跨域访问功能，发现tornado没有对jsonp的默认支持，还好tornado是开源的，就简单实现了一个JSONPHandler，对一切JSONP请求进行封装。JSONPHandler实现代码如下：只需要对finish方法进行简单封装，即可[代码]测试代码：main.py[代码]index.html[代码]测试结果:浏览器访问: http://www.client.com:80... 阅读全文
摘要：
测试环境:服务器配置: 4 x Intel(R) Xeon(R) CPU E5405 @ 2.00GHz， 4G内存, 操作系统: CentOS 5.3 x86_64nginx前端 + 4 tornado(0.2) web processtornado: http://www.tornadoweb.org (已被墙)测试场景: http get请求，服务器端直接返回"hello world"代码及... 阅读全文
摘要：
Tokyo Dystopia是一个全文搜索引擎，究竟它的性能如何呢？能否用于海量数据搜索呢？我使用了1000w(实际10170524条记录)网站标题来分词，并用于Tokyo Dystopia做本文相关的测试数据。 本文所有的测试都直接使用Tokyo Dystopia的dystmgr命令行工具完成。 导入1000w数据测试 $time dystmgr importtsv urls1000w u... 阅读全文
摘要：
最近拿到一大堆数据，在对其做完MapReduce统计后，需要提炼一些有价值的数据出来使用。1. 同一数据重复出现，是否大堆一定概率或者重现数量达到某个范围，就能确定该数据是有效的呢？2. 数据的时间有效性。若这组数据是跟时间相关的，时间这个参数是否需要考虑进去，具体的时间参考值又需要如何定义呢？3. 随机出现的干扰数据，是否也有一些规律性呢？一旦这些干扰数据消失，是好事还是坏事呢？4. 海量数据统... 阅读全文
摘要：
周末闲着无聊，想学学firefox插件开发，模仿金山网盾的搜索结果ie插件，做了一个firefox版的。其实代码逻辑很简单，就是使用XMLHttpRequest异步请求，然后组装返回结果，输出到页面上；由于对XUL不熟悉，就直接使用html完成了。效果截图如下：搜索关键词: 非主流还能右键验证选中url：呵呵，just fun.下载地址: urlsafefox.xpi 2009.8.25 更新: ... 阅读全文
摘要：
到底web服务器的极限是多少呢？100 r/s？ 500 r/s？还是1000 r/s？在StaticGenerator上看到，原来1000 r/s都不算什么.真的是这样吗？如果是真的那就太恐怖了。目前的web基本上都是动态的，为了提高性能，我们常常会使用各种各样的手段优化，例如减少IO，合理的字符串使用和操作，memcached等等。但是尽管全部优化都做足了，全动态的web点击率以是在1000 ... 阅读全文
摘要：
假如你的服务器很慢，而且经常无法连接，很可能你遇上了我最近的烦恼.试着执行:$ netstat -nta|awk '/^tcp/{++S[$NF]} END {for(a in S) print a,S[a]}'如果结果类似：LAST_ACK 14SYN_RECV 348ESTABLISHED 70FIN_WAIT1 229FIN_WAIT2 30CLOSING 33TIME_WAIT 18122... 阅读全文
摘要：
Tenjin, "Tenjin is a very fast and full-featured template engine available in several script languages."官方的测试结果： 也快得太夸张了MacOS X 10.4 Tiger, Intel CoreDuo 1.83GHz, Memory 2GB Language Template Engine Test#1(sec) Test#2(sec) Python(2.5.1)pyTenjin (0.6.1)6.965.61Cheetah (2.0)20.3619.82Django 阅读全文
摘要：
在看PEP-0138时无意发现，就萌生起自己实现一个类似的装饰器的念头，毕竟这个装饰器确实很好用。其中accepts和returns是在原有的基础上进行改造的，详细可以查看代码[代码]使用举例：若accepts与其他任何装饰器同时使用的话，必须将accepts放到最内层，要不然，会导致参数校验异常.[代码]PS: synchronized 装饰方法在python2.5 + 可以使用with语法来代... 阅读全文
摘要：
今天在做一个web页面控制memcached重启的功能，本以为非常简单，不就获取pid，然后kill，在重新启动memcached就这么简单。没想到使用subprocess.Popen() 来调用命令时竟然发现response确实是返回到客户端了，但是服务器端和客户端的http连接竟然还连接着，一直不断。查看了一下python的文档，发现：http://docs.python.org/librar... 阅读全文