块设备I/O和缓冲区管理

本章讨论了块设备I/O和缓冲区管理;解释了块设备I/O的原理和I/O缓冲的优点;论 述了 Unix的缓冲区管理算法,并指出了其不足之处;还利用信号量设计了新的缓冲区管理 算法,以提高I/O缓冲区的缓存效率和性能;表明了简单的PV算法易于实现,缓存效果好, 不存在死锁和饥饿问题;还提出了一个比较Unix缓冲区管理算法和PV算法性能的编程方 案。编程项目还可以帮助读者更好地理解文件系统中的I/O操作。

块设备I/O缓冲区

get_block和put_block,这两个操作将磁盘块读写到内存缓冲区中 由于与内存访问相比, 磁盘I/O速度较慢,所以不希望在每次执行读写文件操作时都执行磁盘1/0因此,大多数 文件系统使用I/O缓冲来减少进出存储设备的物理1/0数量一合理设计的I/O缓冲方案可显 著提高文件I/O效率并增加系统吞吐量。

文件系统使用一系列I/O缓冲区作为块设备的缓存内存。 当进程试图读取(dev, blk)标识的磁盘块时,它首先在缓冲区缓存中搜索分配给磁盘块的缓 冲区。如果该缓冲区存在并且包含有效数据,那么它只需从缓冲区中读取数据,而无须再次 从磁盘中读取数据块=如果该缓冲区不存在,它会为磁盘块分配一个缓冲区,将数据从磁盘 读人缓冲区,然后从缓冲区读取数据,当某个块被读入时,该缓冲区将被保存在缓冲区缓存 中,以供任意进程对同一个块的下一次读/写请求使用:同样.当进程写入磁盘块时,它首 先会获取-个分配给该块的缓冲区然后,它将数据写入缓冲区,将缓冲区标记为脏,以延 退写入,并将其释放到缓冲区缓存中

BUFFER *bread(dev,blk) // return a buffer containing valid data
(
BUFFER *bp =» getblk(dev,blk)} // get a buffer for (dev,blk) if (bp data valid)
return bp;
bp->opcode = READ;	II issue READ operation
start_lo(bp):	// ntart I/O on device
wait for I/O completion;
write_block(dev, blk, data)函数,如:
write_block(devf blk, data)
bwrite(BUFFER *bp)( bp->opcode = WRITE; start_io(bp); wait for I/O completion; brelse(bp); // release bp

BUFFER *bp = bread(dev,blk);	// read in the disk block first
write data to bp;
(synchronous write)? bwrite(bp) : dwrite(bp);

Unix I/O缓冲区管理算法

I/O缓冲区:内核中的一系列NBUF缓冲区用作缓冲区缓存。每个缓冲区用一个结构体表示。

typdef struct buf{
struct buf *next_free;	//freelist pointer
struct buf *next_dev;	//dev_list pointer
int dev,blk;	//assigned disk block;
int opcode;	//READ|WRITE
int dirty;	//buffer data modified
int async;	//ASYNC write flag
int valid;	//buffer data valid
int busy;	//buffer is in use
int wanted;		some process needs this buffer
struct, semaphore lock=l ;	//buffer locking semaphore; value=L
struct semaphore iodone=0;	//for process to wait for I/O completion;
char buf[BLKSIZE];	//block data area
} BUFFER;
BUFFER buf[NBUF], *freelist; // NBUF buffers and free buffer list

Unix算法的缺点:
(1)效率低下:该算法依赖于重试循环,例如,释放缓冲区可能会唤醒两组进程:需要释放的缓冲区的进程,以及只需要空闲缓冲区的进程。由于只有一个进程可以获取释放的缓 冲区,所以,其他所有被唤醒的进程必须重新进入休眠状态。从休眠状态唤醒后,每个被唤 醒的进程必须从头开始重新执行算法,因为所需的缓冲区可能已经存在。这会导致过多的进 程切换。
(2)缓存效果不可预知:在Unix算法中,每个释放的缓冲区都可被获取'如果缓冲区 由需要空闲缓冲区的进程获取,那么将会重新分配缓冲区,即使有些进程仍然需要当前的缓冲区。
(3)可能会出现饥饿:Unix算法基于“自由经济”原则,即每个进程都有尝试的机会,但不能保证成功,因此,可能会出现进程饥饿
(4)该算法使用只适用丁单处理器系统的休眠/唤醒操作

新的I/O缓冲区管理算法

我们将在信号址上使用p/v 来实现进程同步,而不是使用休眠/唤醒,与休眠/唤醒相比,信号量的主要优点是:
(1)计数信号量可用来表示可用资源的数量,例如:空闲缓冲区的数量。
(2)当多个进程等待一个资源时,信号量上的V操作只会释放一个等待进程,该进程 不必重试,因为它保证拥有资源。

(1)保证数据一致性。
(2)良好的缓存效果。
(3)高效率:没有重试循环,没有不必要的进程“唤醒”。
(4)无死锁和饥饿。

BUFFER buf[NBUF];	// NBUF I/O buffers
SEMAPHORE free = NBUF; // counting semaphore for FREE buffers
SEMAPHORE buf[i].sem = 1; // each buffer has a lock sem=l;

PV算法

BUFFER *g«tblk(dev, blk)
P(fr««);	// get a free buffer first
if (bp in dev_liat)(
if (bp not BUSY)( remove bp from freelist; P(bp); return bp;
but BUSY
// give up the free buffer // wait in bp queue
// end of whiled)
/ bp in cache V(free); P(bp);
return bp;
brelse(BUFFER *bp)
/ bp not in cache, try to create a bp>(dev, blk) bp ■ frist buffer P(bp); if (bp dirty)(
awrite(bp)/
continue;
(8). i£ (bp queue has waiter)( V(bp)i return;)
(9). if (bp dirty && free queue has waiter){ awrite(bp); return; )
(10). enter bp into (tail of) freelist; V(bp); V(free);
>

实践部分

#include<stdio.h>
#include<stdlib.h>
#include<unistd.h>
#include<semaphore.h>
#include<pthread.h>
#define	msleep(x)	usleep(x*1000)
#define PRODUCT_SPEED		3				//生产速度
#define CONSUM_SPEED		1				//消费速度
#define INIT_NUM				3				//仓库原有产品数
#define	TOTAL_NUM				10			//仓库容量
 
sem_t p_sem, c_sem, sh_sem;
int num=INIT_NUM;
 
void product(void)							//生产产品
{
	sleep(PRODUCT_SPEED);
}
 
int add_to_lib()								//添加产品到仓库
{
	num++;//仓库中的产品增加一个
	msleep(500);
	return num;
}
 
void consum()										//消费
{
	sleep(CONSUM_SPEED);
}
 
int sub_from_lib()							//从仓库中取出产品
{
	num--; //仓库中的产品数量减一
	msleep(500);
	return num;
}
 
void *productor(void *arg)			//生产者线程
{
	while(1)
	{
		sem_wait(&p_sem);//生产信号量减一
		product();// 生产延时		
		sem_wait(&sh_sem);//这个信号量是用来互斥的
		printf("push into! tatol_num=%d\n",add_to_lib());
		sem_post(&sh_sem);	
		sem_post(&c_sem);  //消费信号量加一
	}
}
 
void *consumer(void *arg)				//消费者线程
{
	while(1)
	{
		
		sem_wait(&c_sem); //消费者信号量减一	
		sem_wait(&sh_sem);
		printf("pop out! tatol_num=%d\n",sub_from_lib());
		sem_post(&sh_sem);		
		sem_post(&p_sem);//生产者信号量加一	
		consum();//消费延时
		
		
		
	}
}
 
int main()
{
	pthread_t tid1,tid2;
	sem_init(&p_sem,0,TOTAL_NUM-INIT_NUM);
	
	sem_init(&c_sem,0,INIT_NUM);
	
	sem_init(&sh_sem,0,1);
	
	pthread_create(&tid1,NULL,productor,NULL);
	pthread_create(&tid2,NULL,consumer,NULL);
	
	pthread_join(tid1,NULL);
	pthread_join(tid2,NULL);
	return 0;
}

截图