[lucene] lucene大数据搜索
 |
艾丽斯顿
2013-01-04
我想了解一下，大家使用lucene 处理过多大的数据呢？ 百万级？千万级？ 亿级？ 性能又是如何呢？ 另外想问一下，大家是怎么结合到web项目里的，用的什么框架呢？ 我用的是ssh+lucene+ik
|
 |
lvwenwen
2013-01-04
艾丽斯顿 写道 我想了解一下，大家使用lucene 处理过多大的数据呢？ 百万级？千万级？ 亿级？ 性能又是如何呢？ 另外想问一下，大家是怎么结合到web项目里的，用的什么框架呢？ 我用的是ssh+lucene+ik
关注下 |
|
hyneng
2013-01-05
补充一下，用lucene耗内存吗，我的VPS只有256的内存，如果我用lucene做搜索，能顶得住不？
我现在单独跑一个网站，一般是用150M的内存，还有差不多100M，大家觉得可行不 |
|
reinhardv
2013-01-05
你好，我曾经作过一个项目实用Lucene，现在大概处理16亿数据，一般查询都在60ms以内完成。
|
|
lvwenwen
2013-01-05
reinhardv 写道 你好，我曾经作过一个项目实用Lucene，现在大概处理16亿数据，一般查询都在60ms以内完成。
可否共享demo研究lucene |
|
reinhardv
2013-01-06
是公司的项目，在内网里面，不能对外共享，不好意思，不过你有什么问题，我如果知道尽量帮你解答：）
|
|
znfsky
2013-01-06
reinhardv 写道 是公司的项目，在内网里面，不能对外共享，不好意思，不过你有什么问题，我如果知道尽量帮你解答：）
你好，我这边有个应用，是用solr做的。在单台机器上存储了8000w的数据，所有数据按id取模均分到20个core中(这20个core都在这一台机器上)。索引占了50个G的磁盘空间。 测试结果发现查询很快，基本上不超过10ms，但是有个很头疼的问题：有0.3%的几率查询会超过1000ms。我跟过solr的源代码，查询耗时都在lucene里，具体哪一行我忘了，明天到公司看看才知道 |
 |
lelong
2013-02-02
reinhardv 写道 你好，我曾经作过一个项目实用Lucene，现在大概处理16亿数据，一般查询都在60ms以内完成。
您好，我想知道16亿数据要做分布式索引吗？还是单个索引就解决了问题？谢谢 |
 |
imjl
2013-02-18
搜索首先不是找框架。而是搜索到底要达到怎么样一个目标，比如多大数据量，怎么排序，搜索速度，索引速度，搜索频率，新增索引频率等。
然后寻找分词，看开源是否能满足，如果不能是否能修改，或者写一个。 实际数据测试，看自己索引速度，索引大小，搜索速度，硬件数据，压力测试来确定方案。 最后根据方案进行生产环境部署，测试，上线。 |
|
chris开到荼縻
2013-07-25
reinhardv 写道 你好，我曾经作过一个项目实用Lucene，现在大概处理16亿数据，一般查询都在60ms以内完成。
求共享代码 |
