建索引的速度问题
 |
ahuaxuan
2007-12-07
大家能否说说自己的经验，
我先来： 我的机器: cpu: intel core2 duo e4400 2g 内存：2g 硬盘：7200转 两万条数据的索引，每条数据的字符串长度为40，耗时10分钟。好像速度有点慢了， 因为我的机器配置还是不错的，我想改成10线程来建索引，这样索引建完成后在做合并，但是我现在一个线程建索引我的cpu的两个核心都是100%，满载。 这个速度正常吗 |
 |
fangts
2007-12-07
说实在话有点慢的啊
你多线程的啊 能不能发个类给我看看，呵呵 QQ：453086 |
|
ahuaxuan
2007-12-07
楼上，我不是多线程，不过多线程也很简单，思路是维护多个dir，然后每个线程一个dir，就是每个线程每个indexwriter，最后合并这10个dir的索引文件，就这样，不过这个好像没有毕业，因为单线程现在cpu就100％，多线程应该不会有多大的提升的
|
|
fangts
2007-12-07
CPU的话我一般维持在90%左右
你内存一般是占用多少 |
|
ahuaxuan
2007-12-07
又看了一下，没有100%，70%左右，我是双核的机器
两个核心都是70% |
|
fangts
2007-12-07
我觉得最重要的是内存占用率问题
昨天给我们公司建索引 数据量400W条 直接把2G内存的服务器重启了 提示：内存占用不足。。。 |
|
ahuaxuan
2007-12-07
不会吧，我600w的数据都没事，大数据量我都是分段计算的
|
 |
grantbb
2007-12-10
尽量多用一些内存，然后索引就快了。
|
|
ahuaxuan
2007-12-13
grantbb 写道 尽量多用一些内存，然后索引就快了。
好的，谢谢 |
 |
imjl
2007-12-14
数据怎么取得，一条条取，还是一次性读到内存，然后一条条加呢？
数据全部添加完,最后做commit，optimize的吗？ 也就是每次索引，无论索引多少数据，只需要最后commit，optimize一次就够了。 index 性能提升看下我发的优化的帖子。 |
