HBase-存储-写路径

写路径

当用户向HRegionServer发起put请求时，其会将请求交给对应的HRegion实例来处理。第一步是要决定数据是否需要写到由HLog类实现的预写日志中。WAL是标准的Hadoop SequenceFile,并且存储了HLogKey实例。这些键包括序列号和实际数据，所以在服务器崩溃时可以回滚还没有持久化的数据。

一旦数据被写入到WAL中，数据就会被放到MemStore中。同时还会检查MemStore是否已经满了，如果满了，就会被请求刷写到磁盘中去。刷写请求由另外一个HRegionServer的线程处理，它会把数据写成HDFS中的一个新HFile。同时也会保存最后写入的序号，系统就知道哪些数据现在被持久化了。

 

关闭前预刷写

MemStore被刷写到磁盘的第二个理由是：预刷写(prefushing)。当region服务器被要求关闭时，会首先检查memstore，任何大于配置值hbase.hregion.preclose.flush.size(默认值是5MB)的memstore会刷写到磁盘，然后在最后一轮阻塞正常访问的刷写后关闭region。

另一方面，关闭region服务器会强制所有的memstore被刷写到磁盘，而不会关心memstore是否达到了配置的最大值，可以使用配置项hbase.hregion.memstore.flush.size(默认值是64MB)或者通过创建表来进行设置。一旦所有memstore都被刷写到了磁盘，region会被关闭，且在转移到其他region服务器时不会重做WAL。

使用额外的一轮预刷写会提高region的可用性：在预刷写时，服务器与region仍旧可用，这类似于通过API或shell命令调用刷写（flush）。当剩下的比较小的memstore完成了第二轮刷写时，此时会停止所有请求。这一轮刷写会保存预刷写过程中的所有修改，以保证服务器可以干净的退出。