调研的几种数据库的行格式,代码没看,查的文档,可能具体实现并不一致。
几种格式的优缺点,还有待分析。
在oceanbase0.5中,实现的格式太简单,在一些场景下性能差,或是不太方便。
在oceanbase1.0中,现在我打算是写成一个通用的接口,可以以表为单位选择需要的格式,这个有待讨论。
1.oracle
https://docs.oracle.com/cd/b28359_01/server.111/b28318/schema.htm#cncpt1135
rowheader至少3个字节
column length 1个字节,column 可以存储
column length 3个字节,column 可以存储>250个字节
如果不是行尾部的null,只有column length,没有column value
如是行尾部的null,column length, column value都不存
新加的列放在row的尾部
2.mysql innodb格式
http://hedengcheng.com/?p=127
null bitmap + column value
column value根据类型由定长和不定长的区别,如果是不定长,则格式为(size + value),size表示数据的长度,可以为1,2,3,4个字节。
3.postgresql格式
http://sydney.edu.au/engineering/it/~info3404/lectures/02adv_rowformats.pdf
null bit map: (|columns| + 7)/8 个字节
oid:4个字节,用来表示psql支持的objects
rowdata=fixcolumns + varcolumns:
fixcolumns:直接存储+补齐
varcolumns:varattrib+userdata+aligned
varattrib:4字节长度(2个位表示压缩或toast flags)
4.sql server 2005
http://sydney.edu.au/engineering/it/~info3404/lectures/02adv_rowformats.pdf
rowheader:4个字节
2个表示record metadata
2个指向后面的bitmap
fixed-length data
null bit mpa: 2+((|columns| + 7)/8)个字节 (2个字节表示列数)
variable-length column data: 2+(num_variable_cols * 2) + max_var_size (2个字节表示列数,每个列用2上字节表示colun value的offset)
versioning tag: (可选的)
5.oceanbase当前memtable的格式
sparse
row data + 行结束符
rowdata = (typeattr + value + column id) + 。。。
6.oceanbase当前cs sstable当前使用的格式
dense_dense
rowkey data + 行结束符 + row value + 行结束符
rowkey data = (typeattr + value) + …
rowvalue data = (typeattr + value) + …
7.oceanbase当前ups sstable当前使用的格式
dense_sparse
rowkey data + 行结束符 + row value + 行结束符
rowkey data = (typeattr + value) + …
rowvalue data = (typeattr + value + column id) + 。。。
原文地址:数据库行存储格式, 感谢原作者分享。
