MINIBASE源代码阅读笔记之buffer manager

BufDesc

frame 们的 descriptor（见BufHashTbl注释），包括

  • pageNo: 这个 frame 在文件里的id，page number
  • prevframe: -1 表示此 frame 为空，如果是hash slot的第一个则为 slot number，否则就是前一个 frame的frame number
  • 注意 frame number 是在 buffer pool 里的 id，page number 是在文件里的 id
  • nextframe: 下一个 frame 的 number，-1表示没有下一个 frame
  • dirty: 1 是 dirty
  • int: 1 表示这个 frame 正在被一个新的读取覆盖，可以用1+oldpageno表示原来的frame的page number

方法只有 constructor 和 destructor，constructor设各种 number 为 -1，不 dirty，没人 reading

BufHashTbl

用来登记 buffer pool 里的 page 们

  • ht[HTSIZE]：用来登记frame的数组，-1表示对应的hash value 还没有 page 登记过，否则保存对应的链表头的 frame no
  • numBuffers：buffer的大小
  • bufTable[numBuffers]：保存 frame 们的 descriptor

方法

  • hash: 接收 pageNo，返回 hash value，用来做 ht 下标（这里用的是最傻的取模+开放寻址）
  • insert: 算好哪个 page 放进 哪个 frame 后，将 page number 和frame number 传给它来放
    1. 首先会将bufTable的对应指针保存进tmp，如果发现对应所指的frame不为空，报错，提醒先调用remove
    2. 将page no设成新的
    3. 设dirty为false，因为刚插进来肯定没改
    4. 将它插到slot的顶部，设prevframe为index+numBuffers（index是hash过的page id）即slot number
    5. 通过ht找到index对应的frame number，要么是-1表示这个slot还是空的，要么就是当前slot顶部的frame number，赋给tmp的nextframe，也就是把tmp插到了链表头部
    6. 如果ht[index]>-1，这个slot不是空的，那么将被挤到后面去的frame的prevframe设成这个新插进去的frame
    7. 最后将ht[index]设成当前frame 的 frame number，插入头部完成
  • lookup: 接收 page number，然后去 hash table 里查找，有的话就返回对应的 frame number，不然返回 -1
    • 就是开放寻址，hash之然后不断向后找，直到碰到空的frame就返回-1
  • remove: 删掉
    1. 将frame number对应的descriptor存进tmp先
    2. 检查是不是在链表头（看tmp->prevframe是否是slot number，即大于numBuffers）
      1. 如果是，把ht里对应的frame number改成下一个frame
      2. 如果不是，让自己的prevframe的nextframe指向自己的nextframe
    3. 如果自己的nextframe不为空（>1），将自己的nextframe的prevframe设成自己的prevframe
    4. 前后的连接都设置好了，把自己的descriptor的各种值改成跟空的一样，等待caller回收或者覆盖掉里面的东西

Replacer

abstract class，给各种换页算法的class用的

  • mgr：跟这个replacer一起的buffer manager
  • pin_count[numBuffers]：对应每个frame的pin count
  • state_bit[numBuffers]：每个frame的state，包括 {Available, Referenced, Pinned}
  • head：clock的head

方法

  • pin：接收frame number，加一个 pin
    • 设这个frame的state为pinned，然后加pin_count
  • unpin：
    • 注意如果它的pin_count已经是0，说明有问题，要报错
    • 减掉pin_count，如果是0，将state转换到referenced给clock用
  • free：给buffer manager的freePage用的，接收 frame number，pin_count和state_bit都初始化掉
  • pick_victim：挑选要 free 掉的 frame，不同的算法有不同的选法，所以是 abstract function
  • name：？
  • info：？
  • getNumUnpinnedBuffers：目前还有多少 frame 还是有人用的
  • setBufferManager：设置对应的 buffer manager
    1. 删掉原来的私有变量，然后各种初始化

BufMgr

buffer manager啦~

  • hashTable：用来管理 buffer pool里的 frame 的 hash table，一个buffer manager只有一个
  • bufPool[numBuffers]：实际放每个frame对应page的的数组
  • numBuffers：buffer pool的大小
  • replacer：这个buffer manager用的replacer
  • _victim_list：里面都是已经从 buffer pool里删除的 page，但都是 dirty 的，而且还没有写回硬盘，每个元素里有对应的 frame number 和 page id
  • _valid_victim_entries：当前victim的数量

方法

  • _exist_victim_list： 查找 victim list 里是否有符合 pgid 的page，如果有将对应的 frame number 写进参数，返回OK，否则写-1到参数里
  • _remove_victim_list: 在 victim list 里查找并删除对应的 page，删除之后把后面的所有entries向前移……（= =）

  • _add_victim_list：把新的page id 和frame number 对加到尾部

  • BufMgr: 初始化buffer pool和_victim_list（malloc），将hash table里每个descriptor们的next frame按顺序连起来，_victim_list的所有元素的page id 和 frame number 设置为 -1，给buffer pool里每个元素都设成空的页，这里有个略看不懂的东西：

    (void) new(bufPool+i) Page;

    貌似是给bufPool+i所指向的空间调用Page的constructor

    然后设置好 replacer，如果没有传参进来就分配空间设一个新的，给replacer的buffer manager设成自己

  • ~BufMgr：检查hash table里所有的frame，有dirty的就写回去，然后删除每个malloc过的指针

  • pinPage：

    1. 在 buffer pool里查找 page id 对应的 page

      hashTable.lookup(pin_pgid);

    2. 如果找不到，用replacer的pick_victim()挑一页来换

      1. 如果挑不到（全都有人在用），报错
      2. 如果挑到了但是是 dirty 的
        1. 暂存这frame里目前的 page number，然后将这frame放进 _victim_list，处理好前后frame的连接（用hash table的remove()），设置好这frame的 reading，然后用hash table的insert()将新的page登记进去
        2. 以上一路都OK的话就用write_page()将 dirty 的原来的 page 写进去（到这步frameNo还是指向原来的 page 所在的frame，而且这个 frame 里的内容也还没改）
        3. 如果写好了也没其他错误，就可以将这个old page从_victim_list里拿走了
      3. 挑完了也写回去了，就可以读进新的 page 了（read_page()）
        1. 如果读取过程中出现错误，需要将这hash table里的这一frame清掉，假装这一frame空了
      4. 设回 hash table里的reading=0，将读好的frame的地址写进参数传回去
      5. pin好这个frame

    3. 如果有就写进 page 指针，没有就换页再读进来，如果换页的时候发现是 dirty 的，它也负责把原来的 frame 写回去，然后给对应的pin_count + 1

    4. 如果设了 BM_TRACE，会接收 filename 方便 trace

    5. 如果 emptyPage == TRUE，提示要读的 page 是空的，就不会真的去读，返回一个空的 page 就好了
  • unpinPage：接收 page id，unpin 掉这个 page（pin_count -1）
    • 如果在hash table里找page id的时候发现找不到 or 找到的是空 frame or 没法让 replacer unpin，返回错误
    • 如果告知是 dirty 的，设好这个 frame descriptor 的 dirty
    • replacer会搞定pin_count的减，如果 pin_count 减完变0了，说明没人在用了，可以拿去做换页的候选
  • newPage：让 DB 给一堆（howmany）新的 page 分配硬盘空间，在 buffer pool里找个可以放 page 的 frame 给其中的第一个 page，pin 之（覆写参数 firstPageId 和 firstpage 做返回）。如果 buffer 已满，让 DB 悲催地把已经新建的 page deallocate掉，然后返回 error
  • freePage：删掉硬盘上的 page 的时候需要调用这个函数
    1. 先在hash table里查找page id，如果找不到说明不在buffer pool里，直接deallocate即可
    2. 如果找得到，要让replacer free掉它，然后从hash table里remove（即从pool里移走），然后再让 DB deallocate 掉这个 page
  • flushPage：flush 掉_指定的_ page，把它从 buffer pool 里销掉，需要写回硬盘就写回去
  • flushAllPages：顾名思义
  • PageInFrame：接收 frame number，把保存在内存里的 page 的指针返回来
posted @ 2014-04-17 22:54  Joyee  阅读(976)  评论(0)  编辑  收藏  举报