增量索引的性能问题,急!

grantbb 2008-01-15
目前索引里面已经有1000多万的数据了,现在需要每几分钟就增量得添加新的内容到索引中。
但是,我发现新加入索引后,整个索引结构都要重新调整。非常耗时(长达半个小时)。

不知道大家有没有什么比较好的办法,加快这个过程?
imjl 2008-01-18
你1000w大概索引大小是多少。

如果score不是很重要的,那么就分开把,,,另外建一个,搜索结果合并。


时间主要耗在optimize这个过程中,当然如果你觉得你机器性能还不错,这个过程只是短期的,可以优化(看下我blog)下来过渡。

javaeyes 2008-01-21
我觉得用lucene做,一个原则索引里面尽量少存储,索引文件小了,optimize要移动的数据块也小。
还有Lucene实在不适合做实时,有一个办法,将新索引建在内存中,新建在内存上的searcher与硬盘索引searcher合并为MutliSearcher提供给前端搜索,内存到达一定量时再后台合并到主索引上,合并完成用新的Searcher替换MutliSearcher。
Lucene2.3已经放出来了,添加了很多新功能,可以去看看
licco1 2008-01-27
真像robin的方式啊
Global site tag (gtag.js) - Google Analytics