骏马金龙

网名骏马金龙,钟情于IT世界里的各种原理和实现机制,强迫症重症患者。爱研究、爱翻译、爱分享。特借此一亩三分田记录自己成长点滴!!!
我本问道人,道心不坚,必将与道无缘!

Perl线程队列:Thread::Queue

(Thread::Queue)队列数据结构(FIFO)是线程安全的,它保证了某些线程从一端写入数据,另一些线程从另一端读取数据。只要队列已经满了,写入操作就自动被阻塞直到有空间支持写操作,只要队列空了,读取操作就会自动阻塞直到队列中有数据可读。这种模式自身就保证了线程安全性。

创建队列

new()
new(LIST)
new()可以创建一个空队列,或者根据已有的列表创建队列,列表中的元素会按照先后顺序放进这个队列中。

哪些元素可放进队列

可以被threads::shared共享的数据都可以放进队列。包括:

Ordinary scalars
Array refs
Hash refs
Scalar refs
Objects based on the above

放进队列的数据必须是已经共享的,如果没有共享,则会自动克隆(递归克隆)一份后将其共享并将共享后放进队列。

例如,下面首先会创建一个空队列,由于@arr未共享,所以会先通过&shared([])将一个空列表(匿名列表引用)共享,并将@arr中的3个元素放进去,然后再将这个共享的匿名列表放进队列。

my @arr = qw(foo bar baz);
$q->enqueue(\@arr);

但是下面的数据是已经共享的,将会直接放进队列中,而不需要先克隆一份。

my @arr :shared = qw(foo bar baz);
$q->enqueue(\@arr);

注意是整个列表引用,它将是队列中的单个元素,而不是将那三个元素放进队列。另外,需要克隆的时候,原始数据结构不会被共享,而是共享它的匿名结构的克隆。

操作队列的基本方法

enqueue(LIST)
将列表中的元素放进队列的尾部,给定的列表可以只有一个元素。默认情况下队列长度可以无限增长,但可以通过limit来设置

dequeue()
dequeue(COUNT)
从队列的头部移除COUNT(默认为1)个元素,并返回它们。如果队列中的元素数量少于请求移除的数量,则线程将被阻塞直到有足够的元素可返回

dequeue_nb()
dequeue_nb(COUNT)
以非阻塞的方式请求从队列头部移除COUNT(默认为1)个元素并返回它们,如果队列中元素个数少于请求移除的数量,则立即返回已存在的那些元素而不会阻塞等待,如果队列为空,则立即返回undef

dequque_timed(TIMEOUT)
dequque_timed(TIMEOUT, COUNT)
从队列的头部移除COUNT(默认为1)个元素,并返回它们。如果队列中的元素个数少于请求移除的个数,则阻塞直到有足够的元素可以返回或者阻塞直到超时。如果等待到了超时,则返回队列中已存在的元素,如果队列为空,则返回undef。如果省略了TIMEOUT或者定义为undef或小于等于0的值,则等价于dequeue_nb

timeout可以是以秒为单位计时的正数、小数(如4、2.5等),也可以是从1970-01-01 00:00:00距离现在已过去的秒数,即epoch时间戳。

pending()
返回队列中还有多少个元素,如果队列已被结束(end())了或已经没有元素了,则返回undef。

$QUEUE->limit = N
设置队列的最大长度为N,如果N=0则表示无限制。设置了limit后,后续的enqueue会被阻塞直到pending的数量小于limit的值,但是需要注意的是,在一次性向队列中enqueue多个元素导致跨了limit值时不会阻塞。见示例:

my $q = Thread::Queue->new(1, 2);
$q->limit = 4;
$q->enquque(3,4,5);  # 不会阻塞
$q->enqueue(6);      # 阻塞,直到队列中元素少于4

my $size = $q->limit;  # 返回当前的队列限制值,可能会返回undef
$q->limit = 0;     # 不再限制队列长度

end()
声明这个队列已经不会再有元素放进来了,也就是告诉对端要关闭队列,使其不要等待或阻塞。这也可以通过enqueue(undef)发送undef的方式来实现。

更多操作队列的方法

peek()
peek(INDEX)
从队列中返回指定索引位(注意:从队列头部开始计数)的元素但却不移除它,如果不提供INDEX则默认返回队列头部的元素(index=0)。INDEX可以是负数,-1表示队列的最尾部元素,-2表示尾部倒数第二个元素。

如果指定索引处元素不存在(即索引越界)或者队列为空,则返回undef。

记住,peek不会从队列中将数据移除掉,所以操作一个peek出来的数据可能会影响到队列中的对应元素。见后文示例。

insert(INDEX, LIST)
将list中的元素插入到INDEX(从队列头部计数)位置处。负数索引表示从队列尾部开始计数。如果指定的INDEX大于当前队列最大索引值,则直接插入到队列的尾部(正数INDE)或队列的头部(负数INDEX)。例如:

$q->enqueue(1,2,3,4);
$q->insert(1, qw(foo bar));  # 1, foo, bar, 2, 3, 4

$q->enqueu(1, 2, 3, 4);
$q->insert(-2, qw(foo bar));  # 1, 2, foo, bar, 3, 4

extract()
extract(INDEX)
extract(INDEX, COUNT)
以非阻塞的方式移除并返回指定索引位置处(从队列头部开始计数)指定个数的元素(默认为1个)。如果不给任何参数,则等价于dequeue_nb。如果元素个数不足,则能返回多少算多少。如果索引位置越界,则返回undef或空列表。

例如:

$q->enqueue(1,2,3,4);
my $item = $q->extract(2);  # 3,队列包含:1 2 4
my @items = $q->extract(1, 3); # 返回(2, 4),队列包含:1

由于peek方法可以直接从队列中获取元素但却不将其从队列中移除,这可能会导致队列中的引用类型元素在队列外被修改。例如,下面的代码:

#!/usr/bin/perl
use strict;
use warnings;

use threads;
use threads::shared;
use Thread::Queue;

my $q = Thread::Queue->new();

# 放非引用数据到队列
$q->enqueue(1, 2, 3)

# 放引用数据到队列
$q->enqueue(['a', 'b', 'c'])

my $thr = threads->new(
    sub {
        sleep 1;
        while(my $item = $q->dequeue()){
            # 如果是引用,要小心数据被其它线程修改
            if (ref $item){
                foreach (@$item){
                    print "ele: $_\n";
                }
            } else {
                print "item: $item\n";
            }
        }
    }
);

my $num = $q->peek();
$num = 11;     # 不影响,因为是非引用数据

my $list = $q->peek(3);
$$list[1] = 'bb';   # 将影响队列中对应元素

$q->end();   # 关闭队列
$thr->join;

为了防止队列中的元素值被其它线程修改,可以使用threads::shared中的lock()将队列锁在一个代码块内。

{
    lock($q);
    my $item = $q->peek();
    if($item...){
        ...
    }
}  # 释放锁
posted @ 2019-02-23 12:43 骏马金龙 阅读(...) 评论(...) 编辑 收藏