建索引的速度问题
 |
ahuaxuan
2007-12-18
imjl 写道 数据怎么取得，一条条取，还是一次性读到内存，然后一条条加呢？
数据全部添加完,最后做commit，optimize的吗？ 也就是每次索引，无论索引多少数据，只需要最后commit，optimize一次就够了。 index 性能提升看下我发的优化的帖子。 我是分次读数据到内存，每次2w条，做索引，最后做optimize， 现在我是每次20w条，速度快多了，我怀疑是我原来flush写错了，调用太频繁（不小心放到for里去了，呵呵），所以上次的问题应该是出在IO上，频繁的flush导致IO变慢，这次我是20w一次flush，我现在20w数据的时间是： 1171秒 20w数据是20分钟，应该正常了 |
 |
edwardpro
2007-12-19
多线程我觉得也不是很方便呀，比较好的方法是批量optimize，2万条我觉得1分钟可以搞定了吧，如果按你机器的配置。
|
|
ahuaxuan
2007-12-20
edwardpro 写道 多线程我觉得也不是很方便呀，比较好的方法是批量optimize，2万条我觉得1分钟可以搞定了吧，如果按你机器的配置。
但是从目前的情况看来好像2万条要2分钟，不过有可能是我们自己的anaylser导致的 |
