[solr] Solr DataImportHandler 多entity 导入速度过慢的问题
illu
2011-01-20
请教大家一个问题
我在使用Solr DataImportHandler进行数据导入时 发现导入速度过慢 配置文件如下 <entity name="Item" pk="ItemId" query="SELECT * FROM ItemViewForSolr"> <field column="ItemId" name="ItemId"/> <field column="ItemDescription" name="ItemDescription"/> ... <entity name="properties" query="SELECT ps.Id AS PId_prop FROM ItemPorperties ip LEFT JOIN PropertiesSetup ps ON ip.PropertyId=ps.Id WHERE ip.ItemId=${Item.ItemId}"/> </entity> 问题出在里面那个entity 也就是说外层的entity每处理一个document都会去链接数据库查询里面那个entity 慢的速度就不能容忍 大家是如何解决这种多entity的导入问题呢? 还有一个情况需要说明 我为什么要使用entity嵌套 通常我们使用DataImportHandler时 都会将需要导入的数据做成一张视图 然后直接使用一个entity对应这个视图就行了 但是这回的情况是 entity Item 对应 entity properies是一个一对多的关系 这样我感觉就只能用两个entity来解决此问题了 大家对这种数据一对多的导入有没有更好的解决方案 谢谢 |
|
illu
2011-01-22
=。= 没人搞过么?
|
|
85600367
2011-01-24
illu 写道 =。= 没人搞过么?
这个真没有··· 我是用lucene建的索引 然后用solr分布式查询··· |
|
illu
2011-01-24
85600367 写道 illu 写道 =。= 没人搞过么?
这个真没有··· 我是用lucene建的索引 然后用solr分布式查询··· 哎 杯具了 。。。 |
|
illu
2011-02-09
挖下
|
|
zy19982004
2011-03-22
1.一对多的时候,多的表放外面entity,一的表放内层entity。
2.“问题出在里面那个entity 也就是说外层的entity每处理一个document都会去链接数据库查询里面那个entity 慢的速度就不能容忍”不太理解。我也是这样做的,并不慢啊。 3.不要搞视图。视图不支持索引。 |
|
ethan_shan
2015-09-28
我第一次导入的时候,还凑合,但是增量更新,有的时候会更新很久,完成不了,怎么回事呢?
|