索引文件的生成(二十)之dvm&&dvd(Lucene 8.4.0)
Lu Xugang Lv6

  本文承接文章索引文件的生成(十九)之dvm&&dvd继续介绍剩余的内容。

生成索引文件.dvd、.dvm之SortedDocValues、SortedSetDocValues

  生成索引文件.dvd、.dvm之SortedDocValues、SortedSetDocValues的流程图:

图1:

写入TermsDict信息

图2:

  在当前流程点,将存储SortedDocValues、SortedSetDocValues对应的所有域值按照字典序写入到索引文件中,在文章索引文件的生成(十八)之dvm&&dvd我们知道,在索引阶段,我们已经通过sortedValues[ ]数组收集了所有种类的域值。

  我们通过例子来介绍TermDict的数据结构如下所示:

图3:

  图3的例子中,为了便于画图,我们只介绍前4篇文档的存储详情,在文章索引文件的生成(十八)之dvm&&dvd中我们已经介绍了termId的概念,故这里不赘述,直接给出前4篇文档中SortedDocValuesField中的域值对应的termId:

域值 termId
mop 0
star 1
of 2
month 3

  sortedValues[ ]数组中的数组元素为termId,并且数组元素是有序的,但是排序规则不是按照数组元素的值,即termId,而是按照termId对应的域值的字典序,故sortedValues[ ]数组如下所示:

图4:

  随后依次读取sortedValues[ ]数组中每一个termId,找到termId对应的域值,将这些域值写入到索引文件.dvd中,可见是按照域值从小到大的顺序(字典序)写入的,如下所示:

图5:

查看大图

  图5中,根据sortedValues[ ] 数组中的termId作为bytesStart[ ]数组的下标值,从bytesStart[ ]数组获取域值在buffers二维数组中的起始位置,最后在buffers二维数组中获取到在索引期间存储的域值,其中bytesStart[ ]数组、buffers二维数组的介绍见文章ByteRefHash,在那篇文章中,sortedValues[ ]数组即排序后的ids[]数组。

  随后每处理16个域值,就生成一个block,并且通过BlockIndex字段来实现在索引阶段对block的随机访问,详细的读取过程将在后续的文章中介绍。

  同时在索引文件.dvm中需要生成TermsDictMeta,它相当于作为索引,在读取阶段获取TermsDict字段在索引文件.dvd中的数据区间,如下所示:

图6:

  图6中,分别通过BlockMeta字段、BlockIndexMeta字段来获取所有的Block、BlockIndex字段在索引文件.dvd中的数据区间,另外其他字段的介绍见文章SortedDocValues

写入TermsIndex信息

图7:

  在当前流程点,跟写入TermsDict信息一样,依次读取sortedValues[ ] 数组并获取到域值,不同的是,每处理1024个域值会生成一个PrefixValue,这里要说明的是PrefixValue这个名字起的不是很好,应该换成源码中的sortKey更为贴切,但由于在文章SortedDocValues已经用了PrefixValue,所以继续沿用,我们直接给出索引文件的数据结构来简单提下PrefixValue的作用,其详细的过程将会在后面的文章中展开:

图8:

  图8中,省去了通过sortedValues[ ] 数组的数组元素,即termId获取域值的过程,同图5,直接给出域值,故图中的sortedValues[ ]数组没有画出termId,以sortedValues[ ] 数组中下标值1023、1024为例,先找出两个域值的相同前缀,即"3Q",然后读取下标值为1024的域值的后缀值的第一个字节,即"R",然后将"3QR"作为PrefixValue写入到TermsIndex中,这么做目的在于,我们在搜索阶段,如果提供了一个域值,那么通过二分法可以快速的判断该域值在哪一个PrefixValue的区间,就可以获得这个PrefixValue对应的ord值,最后通过ord去TermsDict中继续查找,同样详细的过程将在后面的文章中展开。

  同时在索引文件.dvm中需要生成TermsIndexMeta,它相当于作为索引,在读取阶段获取TermsIndex字段在索引文件.dvd中的数据区间,如下所示:

图9:

  SorteSetDocValues对应的TermsDict、TermsIndex信息跟SortedDocValues是一致的,不赘述。

结语

  至此,生成索引文件.dvd、.dvm之SortedDocValues、SortedSetDocValues的流程介绍完毕,下一篇文章将会介绍在读取阶段如何通过上文中存储的DocValues信息来实现排序的原理。

点击下载附件

 Comments