2014年12月10日
给定a、b两个文件，各存放50亿个url，每个url各占用64字节，内存限制是4G，如何找出a、b文件共同的url？
摘要： 可以估计每个文件的大小为5G*64=300G，远大于4G。所以不可能将其完全加载到内存中处理。考虑采取分而治之的方法。遍历文件a，对每个url求取hash(url)%1000，然后根据所得值将url分别存储到1000个小文件（设为a0,a1,...a999）当中。这样每个小文件的大小约为300M。遍... 阅读全文
posted @ 2014-12-10 10:21 klj123wan 阅读(813) 评论(2) 推荐(0)
php 实现多线程
摘要： 通过php的Socket方式实现php程序的多线程。php本身是不支持多线程的，那么如何在php中实现多线程呢？可以想一下，WEB服务器本身都是支持多线程的。每一个访问者，当访问WEB页面的时候，都将调用新的线程，通过这一点我们可以利用WEB服务器自身的线程来解决PHP不支持多线程的问题。 下面... 阅读全文
posted @ 2014-12-10 10:09 klj123wan 阅读(568) 评论(0) 推荐(0)
PHP-Fcgi下PHP的执行时间设置方法
摘要： 昨天，一个程序需要导出500条数据，结果发现到150条是，Nginx报出504 Gateway Timeout错误，原来PHP-Fcgi下的设置执行时间与isapi的不同一般情况下设置PHP脚本执行超时的时间一、在php.ini里面设置max_execution_time = 1800;二、通过PH... 阅读全文
posted @ 2014-12-10 10:04 klj123wan 阅读(277) 评论(0) 推荐(0)