Index 索引文件的载入(一)之fdx&&fdt&&fdm
在文章SegmentReader(一)中,我们介绍了SegmentReader对象,它用于描述一个段中的索引信息,并且说到SegmentReader对象中包含了一个SegmentCoreReaders对象……
Codecs SIMD(Single Instruction Multiple Data)
从Lucene 8.4.0开始,在写入/读取倒排信息时,即写入/读取索引文件.doc、.pos、.pay时,通过巧妙的编码方式(下文中展开)使得C2编译器能生成SIMD(Single Instruction Multiple Data)指令,从而提……
Index 索引文件的合并(四)之kdd&kdi&kdm
本篇文章开始介绍索引文件kdd&kdi&kdm的合并,由于维度值为1和维度值大于等于2的点数据对应的索引文件的合并方式有较大的差异,故我们分开介绍……
Index ReaderPool(一)
ReaderPool类对于理解Lucene的一些机制起到了极其关键的作用,这些机制至少包含段的合并、作用(apply)删除信息、NRT(near real-time)、flush/commit与merge的并发过程中的删除信息的处理等等……
Index 索引文件的合并(三)之fdx&&fdt&&fdm
本文承接文章索引文件的合并(二)之fdx&&fdt&&fdm,继续介绍剩余的内容,下面先给出索引文件fdx&&fdt&&fdm的合并流程图……
Index 索引文件的合并(二)之fdx&&fdt&&fdm
本文承接文章索引文件的合并(一)之fdx&&fdt&&fdm,继续介绍剩余的内容,下面先给出索引文件fdx&&fdt&&fdm的合并流程图……
DocValues BinaryDocValues-8.7.0
阅读本文前建议先看下BinaryDocValues、索引文件的生成(二十一)之dvm&&dvd两篇文章,因为很多重复的内容不会在本文中展开。……
Search 索引文件的读取(十五)之fdx&&fdt&&fdm
本文承接文章[索引文件的读取(十四)之fdx&&fdt&&fdm](https://www.amazingkoala.com.cn/Lucene/Search/2020/1102/174.html),继续介绍剩余的内容。为了更好的理解下文中的内容,建议先阅读文章[DirectMon……
Search 索引文件的读取(十四)之fdx&&fdt&&fdm
前几篇索引文件的读取的系列文章中,我们介绍[索引文件tim&&tip](https://www.amazingkoala.com.cn/Lucene/suoyinwenjian/2019/0401/43.html)的读取时机点时说到,在生成[StandardDirectoryReader](https://www.amazing……
压缩存储 DirectMonotonicWriter&&Reader
DirectMonotonicWriter类用来存储单调递增的整数序列(monotonically-increasing sequences of integers),使用了**先编码后压缩**的存储方式,DirectMonotonicReader类则是用来解码跟解压……
索引文件 索引文件之kdd&kdi&kdm
从Lucene8.6.0开始,用于存储点数据(point value)的索引文件由原先的两个索引文件dim&&dii,改为三个索引文件kdd&kdi&kdm。由于生成kdd&kdi&kdm的过程基本上没有太大的变动,并且索引文件的数……
Index 索引文件的生成(二十四)之fdx&&fdt&&fdm
本文承接文章索引文件的生成(二十三)之fdx&&fdt&&fdm,继续介绍剩余的内容,先给出生成索引文件fdx&&fdt&&fdm的流程图……
Index 索引文件的生成(二十三)之fdx&&fdt&&fdm
从本篇文章开始介绍用于描述存储域(存储域的概念见文章索引文件之fdx&&fdt&&fdm)的索引文件.fdx、.fdt、.fdm的生成过程,直接给出流程图……
索引文件 索引文件之fdx&&fdt&&fdm
在索引阶段,如果某个域的属性中包含store,意味着该域的域值信息将被写入到索引文件fdx&&fdt&&fdm中,域的属性可以通过FieldType来设置,如下所示……
压缩存储 FST(二)
在文章FST(一)(必须先阅读该篇文章)中我们通过一个例子,简单的描述了Lucene是如何使用一个字节数组current[ ]存储FST信息的,为了能更好的理解读取过程,我们需要另外给出例子(……
Search block-max-WAND(一)
从Lucene 8.0.0开始,Lucene新增了block-max WAND(Weak AND)算法,用于优化TopN的查询。该算法的引入可谓是一波三折,可以查看作者Adrien Grand对该算法的介绍:https://www.elastic.co/cn/blog/faster-ret……
Search 索引文件的读取(十三)之doc&&pos&&pay
本文承接文章索引文件的读取(十二)之doc&&pos&&pay,继续介绍剩余的内容。索引文件.doc、.pos、.pay的读取过程相比索引文件.tim&&.tip较为简单……
Search 索引文件的读取(十二)之doc&&pos&&pay
在前几篇索引文件的读取的系列文章中,我们介绍索引文件tim&&tip的读取时机点时说到,在生成StandardDirectoryReader对象期间,会生成SegmentReader对象,该对象中的FieldsProducer信息描述了索引……
Index 索引文件的生成(二十二)之nvd&&nvm
在执行flush()的过程中,Lucene会将内存中的索引信息生成索引文件,本篇文章继续介绍索引文件.nvd&&.nvm,其生成的时机点如下图红色框标注……
工具类 Automaton(三)
在文章Automaton(二)中我们根据图1的例子生成了图2的转移图以及转移图对应在源码中的描述方式,即状态(state)、转移(transition)函数两个数组,如图3所示……
Search 索引文件的读取(七)之tim&&tip
本篇文章开始介绍索引文件tim&&tip的读取,通过TermRangeQuery的例子来介绍如何从索引文件.tim&&.tip中获取满足查询条件的所有term……
工具类 Automaton(二)
在文章Automaton中我们介绍了确定型有穷自动机(Deterministic Finite Automaton)的概念,以及在TermRangeQuery中如何根据查询条件生成一个转移图,本文依旧根据该文章中的例子,介绍在Lucene中如何……
Search 索引文件的读取(六)之dvd&&dvm
本文接着介绍索引文件.dvd、.dvm之BinaryDocValues的读取,它同SortedValues一样,其中一个用途用于对查询结果的进行排序,在搜索阶段,当获取了满足查询条件的文档号之后,它会交给Colle……
Search 索引文件的读取(五)之dvd&&dvm
本篇文章开始介绍索引文件.dvm&&dvd的读取,阅读本系列文章建议先看下文章索引文件的生成(十八)之dvm&&dvd、索引文件的生成(十九)之dvm&&dvd、IndexedDISI(一)、IndexedDISI(二),了解……
Index 软删除softDeletes(六)
我们接着文章软删除softDeletes(五)继续介绍合并策略SoftDeletesRetentionMergePolicy,在文章近实时搜索NRT(一)中使用方法三&&方法四获取StandardDirectoryReader和文章文档提交之flush(八)终中……
Index 软删除softDeletes(五)
在文章软删除softDeletes(二)中介绍了软删除在索引(index)阶段的相关内容,我们接着介绍在flush/commit阶段的内容……
Index 软删除softDeletes(四)
在文章软删除softDeletes(二)中我们说到,在Lucene 7.5.0版本中,使用了下面两个容器来存储软删除的删除信息、DocValues的更新信息:
- Map> numeric……
Index 软删除softDeletes(三)
在文章软删除softDeletes(二)中我们说到,在Lucene 7.5.0版本中,使用了下面两个容器来存储软删除的删除信息、DocValues的更新信息……
Index 软删除softDeletes(二)
在文章软删除softDeletes(一)中我们介绍了软删除的一些应用,从本篇文章开始,将根据索引(index)、flush/commit、段的合并、搜索这几个不同的阶段来介绍跟软删除相关的内容。……
Index 索引文件的生成(二十一)之dvm&&dvd
索引文件.dvm&&.dvd中根据文档中包含的不同类型的DocValuesFields,包含下面的DocValues信息……
Index 索引文件的生成(十九)之dvm&&dvd
在文章索引文件的生成(十八)之dvm&&dvd中,我们介绍了Lucene在索引阶段跟flush阶段收集到的SortedDocValues、SortedSetDocValues信息,这些信息将作为生成索引文件.dvm、dvd的依据。……
Index 索引文件的生成(十八)之dvm&&dvd
索引文件.dvm&&.dvd中根据文档中包含的不同类型的DocValuesFields,包含下面的DocValues信息……