puts hello saint!

1、关于delete marker的问题。(p24)

hbase的delete命令,并不是真的删除了文件,而是设置一个标记(delete marker)。用户在检索数据的时候,会过滤掉这些标示的数据。

HBase的删除标记有三种:

1. version delete marker 删除指定version的某个qualifier对应的value

2. column delete marker 删除某个qualifier的所有version的数据

3. family delete marker 删除column family 下所有qualifier对应的所有version的数据

还可以再column和family delete marker上打上时间戳,这时,只有小于这个时间戳的version才会被影响到。

HBase允许进行基于时间的查询从而得到指定时间段的历史数据。查询时间T的数据即查询[0,T+1)的数据。这样就带来了一个潜在的问题。当一个delete marker被set上,所有被它影响到的数据都不再可见。如果你在时间T put了一个qualifier为C的数据,接着在T+X的时间点删除这个qualifier,此时查询[0,T+1)时间段的数据将不会返回qualifier为C的这个KV对。

HBASE-4536 https://issues.apache.org/jira/browse/HBASE-4536解决了这个问题,可以通过在shell里建表时加上 KEEP_DELETED_CELLS=>true或在java client上调用时加上HColumnDescriptor.setKeepDeletedCells(true)。这样,被删除的数据在基于时间的历史数据查询中依然可见(当然要保证delete marker的时间戳不在历史查询的时间范围内)。就刚才的例子来说,加上这个支持后,查询[0,T+1)时间段的数据将会返回C,而查询[0,T+X+1)时间段的数据将不会返回C,因为在该时间点,C也已经被删除了。

2、关于HBase的压缩的两种方法

当由内存将文件flush到硬盘上时,会创建很多的hfile文件,对这些hfile文件需要压缩,包含minor compactions and major compactions

minor压缩,是将多个小的文件合并成大的文件,执行n路合并。

major压缩,是指将一个column family的文件都存储为一个大文件,同时他还扫描删除标示,,或者过期的版本信息。

此处有LSM-tree的引子,等到[p316]也的时候仔细研究下。

3、Hbase有三个主要的部件组成。

Cilent包含访问hbase的接口,client维护着一些cache来加快对hbase的访问,比如regione的位置信息。MasterServer处理schema更新请求Region ServerRegion server维护Master分配给它的region,处理对这些region的IO请求Region server负责切分在运行过程中变得过大的regionZookeeper存储Hbase的schema,包括有哪些table,每个table有哪些column family

版权声明:本文为博主原创文章,未经博主允许不得转载。

因为它抚平了心底的不安;当你尝到了极品的美食,

puts hello saint!

相关文章:

你感兴趣的文章:

标签云: