摘要：
nginx + php-fpm 环境的部署的文章：http://blog.s135.com/nginx_php_v6/关于php-fpm的百度百科介绍：http://baike.baidu.com/view/4168033.htm笔者在实际运用这套环境中，遇到了一个诡异的问题，问题的具体描述是：浏览器同时向网站请求php页面的时候，后开始的页面需要等待前一个页面拿到response后才能开始执行。问题发现的情况是，由于网站某个页面的后台接口问题，又没有设置超时机制，导致这个页面响应龟速。 在等待这个页面的时候，再打开其他网站页面是无法打开的，要等到这个页面返回，才会执行其他页面。经过调查，将问 阅读全文
摘要：
我想来到这的同行们应开看过这篇文章，强烈推荐各位先阅读一下这篇文章，这篇文章中介绍的问题，基本同样的出现在我们的网站上，并一度使我们webserver负载升高（8核负载100）到不可用状态，导致前端502问题。http://blog.s135.com/file_get_contents/按照这篇文章中的讲述的方法：1. file_get_contents 显式设置socket超时时间经过测试是不可行的，进一步的测试，发现在php-fpm + nginx的系统环境中，这种设置超时的方式是不生效的。 而在其他环境中，如apache+php-cgi的方式，超时是可以生效的。超时设置不生效的原因还不清 阅读全文
摘要：
【请初学者作为参考，不建议高手看这个浪费时间】工作中经常会有这种需求，需要抓取互联网上的数据。笔者就经常遇到这种需求，一般情况下会临时写个抓取程序，但是每次遇到这种需求的时候，都几乎要重头写，特别是面临需要抓取大数量网页，并且被抓取网站有放抓取机制的时候，处理起来就会很麻烦。无意中接触到了一个开源的抓取框架scrapy，按照introduction做了第一个dirbot爬虫，觉得很方便，就小小研究了一下，并在工作中用到过几次。scrapy的文档是英文的，网上相关的说明很少，使用的过程中也遇到过很多问题，大部分都是在 stack overflow 上找到的解答，看来这个工具国外的同行们用的会更多 阅读全文