PHP多进程编程(三)多进程抓取网页的演示

要理解这个部分的代码,请阅读:

用 Socket 和 Pcntl 实现一个多进程服务器(一)

PHP多进程编程(一)

PHP多进程编程(二)管道通信

 

我们知道,从父进程到子经常的数据传递相对比较容易一些,但是从子进程传递到父进程就比较的困难。

有很多办法实现进程交互,在php中比较方便的是 管道通信。当然,还可以通过 socket_pair 进行通信。

 

首先是服务器为了应对每一个请求要做的事情(发送一个url 序列,url序列用\t 分割。而结束标记是 \n)

 

代码
function clientHandle($msgsock, $obj)
{
    
$nbuf = '';
    socket_set_block(
$msgsock);
    
do {
        
if (false === ($buf = @socket_read($msgsock, 2048, PHP_NORMAL_READ))) {
            
$obj->error("socket_read() failed: reason: " . socket_strerror(socket_last_error($msgsock)));
            
break;
        }
        
$nbuf .= $buf;

        
if (substr($nbuf, -1!= "\n") {
            
continue;
        }
        
$nbuf = trim($nbuf);
        
if ($nbuf == 'quit') {
            
break;
        }
        
if ($nbuf == 'shutdown') {
            
break;
        }
        
$url = explode("\t", $nbuf);
        
$nbuf = '';

        
$talkback = serialize(read_ntitle($url));
        socket_write(
$msgsock, $talkback, strlen($talkback));
        debug(
"write to the client\n");
        
break;
    } 
while (true);
}

 

上面代码比较关键的一个部分是 read_ntitle,这个函数实现多线程的读取标题。

 

代码如下:(为每一个url fork 一个线程,然后打开管道 ,读取到的标题写入到管道里面去,主线程一直的在读取管道数据,直到所有的数据读取完毕,最后删除管道)

代码
function read_ntitle($arr)
{
    
$pipe = new Pipe("multi-read");
    
foreach ($arr as $k => $item)
    {
        
$pids[$k= pcntl_fork();
        
if(!$pids[$k])
        {
             
$pipe->open_write();
             
$pid = posix_getpid();
             
$content = base64_encode(read_title($item));
             
$pipe->write("$k,$content\n");
             
$pipe->close_write();
             debug(
"$k: write success!\n");
             
exit;
        }
    }
    debug(
"read begin!\n"); 
    
$data = $pipe->read_all();
    debug(
"read end!\n");

    
$pipe->rm_pipe();
    
return parse_data($data);
}
parse_data  代码如下,非常的简单,就不说了。
function parse_data($data)
{
    $data = explode("\n", $data);
    $new = array();
    foreach ($data as $value)
    {
        $value = explode(",", $value);
        if (count($value) == 2) {
            $value[1] = base64_decode($value[1]);
            $new[intval($value[0])] = $value[1];
        }
    }
    ksort($new, SORT_NUMERIC);
    return $new;
}

 

 

上面代码中,还有一个函数read_title 比较有技巧。为了兼容性,我没有采用curl,而是直接采用socket 通信。

在下载到 title 标签后,就停止读取内容,以节省时间。代码如下:

 

代码
function read_title($url)
{
    
$url_info = parse_url($url);
    
if (!isset($url_info['host']) || !isset($url_info['scheme'])) {
     
return false;
    }
    
$host = $url_info['host'];
    
 
$port = isset($url_info['port']) ? $url_info['port': null;
 
$path = isset($url_info['path']) ? $url_info['path']  : "/";
 
if(isset($url_info['query'])) $path .= "?".$url_info['query'];
 
if(empty($port)){
  
$port = 80;
 }
 
if ($url_info['scheme'== 'https'){
  
$port = 443;
 }
 
if ($url_info['scheme'== 'http') {
  
$port = 80;
 }
    
$out = "GET $path HTTP/1.1\r\n";
    
$out .= "Host: $host\r\n";
    
$out .= "User-Agent: Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9.1.7)\r\n";
    
$out .= "Connection: Close\r\n\r\n";
    
$fp = fsockopen($host, $port, $errno, $errstr, 5);
    
if ($fp == NULL) {
     error(
"get title from $url, error. $errno$errstr \n");
     
return false;
    }
    
fwrite($fp, $out);
    
$content = '';
    
while (!feof($fp)) {
        
$content .= fgets($fp, 1024);
        
if (preg_match("/<title>(.*?)<\/title>/is", $content, $matches)) {
             
fclose($fp);
            
return encode_to_utf8($matches[1]);
        }
    }
    
fclose($fp);
    
return false;
}

function encode_to_utf8($string
{
     
return mb_convert_encoding($string, "UTF-8", mb_detect_encoding($string, "UTF-8, GB2312, ISO-8859-1", true));
}

 

这里,我只是检测了 三种最常见的编码。

其他的代码都很简单,这些代码都是测试用的,如果你要做这样一个服务器,一定要进行优化处理。特别是,要防止一次打开太多的进程,你要做更多的处理。

很多时候,我们抱怨php 不支持多进程,实际上,php是支持多进程的。当然,没有那么多的进程通信的选项,而多进程的核心就在于进程的通信与同步。

在web开发中,这样的多线程基本上是不会使用的,因为有很严重的性能问题。要实现比较简单的多进程,高负载,必须借助其扩展。

posted @ 2010-01-29 20:18 暮夏 阅读(...) 评论(...) 编辑 收藏