20191324读书笔记10

第十二章：块设备I/O和缓冲区管理

本章讨论了块设备I/O和缓冲区管理；解释了块设备I/O的原理和I/O缓冲的优点；论 述了 Unix的缓冲区管理算法，并指出了其不足之处；还利用

信号量设计了新的缓冲区管理算法，以提高I/O缓冲区的缓存效率和性能；表明了简单的PV算法易于实现，缓存效果好， 不存在死锁和饥饿问题；还提
出了一个比较Unix缓冲区管理算法和PV算法性能的编程方案。编程项目还可以帮助读者更好地理解文件系统中的I/O操作。

块设备I/O缓冲区

• 大多数文件系统使用I/O缓冲来减少进出存储设备的物理I/O数量一合理设计的I/O缓冲方案可显著提高文件I/O效率并增加系统吞吐量。
• 文件系统使用一系列IO缓冲区作为块设备的缓存内存。当进程试图读取(dev,blk)标识的磁盘块时，它首先在缓冲区缓存中搜索分配给磁盘块的缓冲区。如果该缓冲区存在并且包含有效数据，那么它只需从缓冲区中读取数据，而无须再次从磁盘中读取数据块。如果该缓冲区不存在，它会为磁盘块分配一个缓冲区，将数据从磁盘读入缓冲区，然后从缓冲区读取数据。当某个块被读入时，该缓冲区将被保存在缓冲区缓存中，以供任意进程对同一个块的下一次读/写请求使用。同样，当进程写入磁盘块时，它首先会获取一个分配给该块的缓冲区。然后，它将数据写入缓冲区，将缓冲区标记为脏，以延迟写人，并将其释放到缓冲区缓存中。由于脏缓冲区包含有效的数据，因此可以使用它来满足对同一块的后续读/写请求，而不会引起实际磁盘L/O。脏缓冲区只有在被重新分配到不同的块时才会写入磁盘。
• 定义一个bread（dev, blk）函数，它会返回一个包含有效数据的缓冲区(指针)。

BUFFER *bread(dev,blk) // return a buffer containing valid data
{
BUFFER *bp =» getblk(dev,blk)} // get a buffer for (dev,blk) if (bp data valid)
return bp;
bp->opcode = READ;	// issue READ operation
start_lo(bp):	// ntart I/O on device
wait for I/O completion;
}

• 从缓冲区读取数据后，进程通过brelse(hp)格缓冲区释放回缓冲区缓存。同理，定义一个 write_block(dev, blk, data)函数：

write_block(devf blk, data)
BUFFER *bp = bread(dev,blk);	// read in the disk block first
write data to bp;
(synchronous write)? bwrite(bp) : dwrite(bp);
bwrite(BUFFER *bp)( bp->opcode = WRITE； start_io(bp); 
wait for I/O completion; 
brelse(bp); // release bp
dwrite(BUFFER *bp)( mark bp dirty for delay_write；
brelse(bp); // release bp

Unix I/O缓冲区管理算法

• (1)I/O缓冲区：内核中的一系列NBUF缓冲区用作缓冲区缓存。每个缓冲区用一个结构体表示。

typdef struct buf{
struct buf *next_free;	//freelist pointer
struct buf *next_dev；	//dev_list pointer
int dev,blk；	//assigned disk block；
int opcode；	//READ|WRITE
int dirty;	//buffer data modified
int async;	//ASYNC write flag
int valid;	//buffer data valid
int busy;	//buffer is in use
int wanted；		some process needs this buffer
struct, semaphore lock=l ；	//buffer locking semaphore； value=L
struct semaphore iodone=0；	//for process to wait for I/O completion；
char buf[BLKSIZE];	//block data area
} BUFFER;
BUFFER buf[NBUF], *freelist; // NBUF buffers and free buffer list

• 缓冲区结构体由两部分组成：用于缓冲区管理的缓冲头部分和用于数据块的数据部分。为了保护内核内存，状态字段可以定义为一个位向量，其中每个位表示一个唯一的状态条件。
• 设备表:每个块设备用一个设备表结构表示。
• 缓冲区初始化:当系统启动时，所有I/O缓冲区都在空闲列表中，所有设备列表和T/O队列均为空。
• 缓冲区列表:当缓冲区分配给(dev,blk)时，它会被插入设备表的dev_list中。如果缓冲区当前正在使用，则会将其标记为BUSY(繁忙)并从空闲列表中删除。
• Unix算法的一些具体说明：

(1 )数据一致性：为确保数据一致性，getblk一定不能给同一个(dev, blk)分配多个缓冲区 这可以通过让进程从休眠状态唤醒后再次执行“重试循环”来实现。读者可以验证 分配的每个缓冲区都是唯一的一其次，脏缓冲区在重新分配之前被写出来，这保证了数据的一致性。
(2)缓存效果：缓存效果可通过以下方法实现 释放的緩冲区保留在设备列表中，以便 可能重用，标记为延迟写入的緩冲区不会立即产生I/O,并且可以重用。缓冲区会被释放到 空闲列表的末尾,但分配是从空闲列表的前面开始的，这是基于LRU (最近最少使用)原则，它有助于延长所分配缓冲区的使用期，从而提高它们的缓存效果,
(3)临界区：设备中断处理程序可操作缓冲区列表，例如从设备表的I/O队列中删除 bp,更改其状态并调用brelse(bp)。所以，在getb汰和brelse中，设备中断在这些临界区中 会被屏蔽。这些都是隐含的，但没有在算法中表现出来。

• PV算法：

BUFFER *getb1k(dev,blk)：
while(1){
(1). P(free);
//get a free buffer first 
if (bp in dev_1ist){
(2). if (bp not BUSY){
remove bp from freelist;P(bp);
// lock bp but does not wait
(3).return bp;
// bp in cache but BUSY V(free);
// give up the free buffer
(4).P(bp);
// wait in bp queue
return bp;v
// bp not in cache,try to create a bp=(dev,blk)
(5).bp = frist buffer taken out of freelist;P(bp);
// lock bp,no wait
(6).if(bp dirty){
awzite(bp);
// write bp out ASYNC,no wait
continue;
// continue from (1)
(7).reassign bp to(dev,blk);1/ mark bp data invalid,not dir return bp;-
// end of while(1)；
brelse(BUFFER *bp)，
{
(8).iF (bp queue has waiter)( V(bp); return; ]
(9).if(bp dirty && free queue has waiter){ awrite(bp);zeturn;}(10).enter bp into(tail of) freelist;V(bp);V(free);
}

• Unix算法的缺点：

(1)效率低下：该算法依赖于重试循环，例如，释放缓冲区可能会唤醒两组进程：需要释放的缓冲区的进程，以及只需要空闲缓冲区的进程。由于只有一个进程可以获取释放的缓 冲区，所以，其他所有被唤醒的进程必须重新进入休眠状态。从休眠状态唤醒后，每个被唤 醒的进程必须从头开始重新执行算法，因为所需的缓冲区可能已经存在。这会导致过多的进 程切换。
(2)缓存效果不可预知：在Unix算法中，每个释放的缓冲区都可被获取'如果缓冲区 由需要空闲缓冲区的进程获取，那么将会重新分配缓冲区，即使有些进程仍然需要当前的缓冲区。
(3)可能会出现饥饿：Unix算法基于“自由经济”原则，即每个进程都有尝试的机会，但不能保证成功，因此，可能会出现进程饥饿
(4)该算法使用只适用丁单处理器系统的休眠/唤醒操作

新的I/O缓冲区管理算法

• 信号量的主要优点是：(1)计数信号量可用来表示可用资源的数量，例如：空闲缓冲区的数量。(2)当多个进程等待一个资源时，信号量上的V操作只会释放一个等待进程，该进程不必重试，因为它保证拥有资源。
• Box#1:用户界面﹐这是模拟系统的用户界面部分，提示输人命令、显示命令执行、显示系统状态和执行结果等。在开发过程中，可以手动输入命令来执行任务。在最后测试过程中，任务应该有自己的输入命令序列
• Box#2：多任务处理系统的CPU端，模拟单处理器（单CPU)文件系统的内核模式。当系统启动时，它会创建并运行一个优先级最低的主任务，但它会创建ntask工作任务，所有任务的优先级都是1，并将它们输人readyQueue。然后，主任务执行以下代码，该代码将任务切换为从readyQueue运行工作任务。
• Box#3:磁盘控制器，它是主进程的一个子进程。因此，它与CPU端独立运行，除了它们之间的通信通道，通信通道是CPU和磁盘控制器之间的接口。通信通道由主进程和子进程之间的管道实现。
• 磁盘中断：从磁盘控制器到CPU的中断由SIGUSR1(#10）信号实现。在每次IO操作结束时,磁盘控制器会发出 kill(ppid, SIGUSR1)系统调用，向父进程发送SIGUSR1信号，充当虚拟CPU中断。通常，虚拟CPU会在临界区屏蔽出/人磁盘中断（信号)。为防止竞态条件，磁盘控制器必须要从CPU接收一个中断确认，才能再次中断。
• 虚拟磁盘：Box#4：Linux文件模拟的虚拟磁盘。使用Linux系统调用lseek()、read(和write()，支持虚拟磁盘上的任何块I/O操作。为了简单起见，将磁盘块大小设置为16字节。由于数据内容无关紧要，所以可以将它们设置为16个字符的固定序列。

实践：PV实例生产者消费者问题

#include<stdio.h>
#include<stdlib.h>
#include<unistd.h>
#include<semaphore.h>
#include<pthread.h>
#define	msleep(x)	usleep(x*1000)
#define PRODUCT_SPEED		3				//生产速度
#define CONSUM_SPEED		1				//消费速度
#define INIT_NUM				3				//仓库原有产品数
#define	TOTAL_NUM				10			//仓库容量
 
sem_t p_sem, c_sem, sh_sem;
int num=INIT_NUM;
 
void product(void)							//生产产品
{
	sleep(PRODUCT_SPEED);
}
 
int add_to_lib()								//添加产品到仓库
{
	num++;//仓库中的产品增加一个
	msleep(500);
	return num;
}
 
void consum()										//消费
{
	sleep(CONSUM_SPEED);
}
 
int sub_from_lib()							//从仓库中取出产品
{
	num--; //仓库中的产品数量减一
	msleep(500);
	return num;
}
 
void *productor(void *arg)			//生产者线程
{
	while(1)
	{
		sem_wait(&p_sem);//生产信号量减一
		product();// 生产延时		
		sem_wait(&sh_sem);//这个信号量是用来互斥的
		printf("push into! tatol_num=%d\n",add_to_lib());
		sem_post(&sh_sem);	
		sem_post(&c_sem);  //消费信号量加一
	}
}
 
void *consumer(void *arg)				//消费者线程
{
	while(1)
	{
		
		sem_wait(&c_sem); //消费者信号量减一	
		sem_wait(&sh_sem);
		printf("pop out! tatol_num=%d\n",sub_from_lib());
		sem_post(&sh_sem);		
		sem_post(&p_sem);//生产者信号量加一	
		consum();//消费延时
		
		
		
	}
}
 
int main()
{
	pthread_t tid1,tid2;
	sem_init(&p_sem,0,TOTAL_NUM-INIT_NUM);
	
	sem_init(&c_sem,0,INIT_NUM);
	
	sem_init(&sh_sem,0,1);
	
	pthread_create(&tid1,NULL,productor,NULL);
	pthread_create(&tid2,NULL,consumer,NULL);
	
	pthread_join(tid1,NULL);
	pthread_join(tid2,NULL);
	return 0;
}

运行截图：