[solr] Solr DataImportHandler 多entity 导入速度过慢的问题

illu 2011-01-20
请教大家一个问题
我在使用Solr DataImportHandler进行数据导入时 发现导入速度过慢
配置文件如下
<entity name="Item" pk="ItemId" query="SELECT * FROM ItemViewForSolr">
    <field column="ItemId" name="ItemId"/>
    <field column="ItemDescription" name="ItemDescription"/>
    ...
    <entity name="properties" 
        query="SELECT ps.Id AS PId_prop 
	    FROM ItemPorperties ip
	    LEFT JOIN PropertiesSetup ps ON ip.PropertyId=ps.Id
	    WHERE ip.ItemId=${Item.ItemId}"/>
</entity>

问题出在里面那个entity
也就是说外层的entity每处理一个document都会去链接数据库查询里面那个entity
慢的速度就不能容忍 大家是如何解决这种多entity的导入问题呢?

还有一个情况需要说明 我为什么要使用entity嵌套
通常我们使用DataImportHandler时 都会将需要导入的数据做成一张视图 然后直接使用一个entity对应这个视图就行了
但是这回的情况是 entity Item 对应 entity properies是一个一对多的关系 这样我感觉就只能用两个entity来解决此问题了
大家对这种数据一对多的导入有没有更好的解决方案
谢谢
illu 2011-01-22
=。= 没人搞过么?
85600367 2011-01-24
illu 写道
=。= 没人搞过么?

这个真没有···
我是用lucene建的索引 然后用solr分布式查询···
illu 2011-01-24
85600367 写道
illu 写道
=。= 没人搞过么?

这个真没有···
我是用lucene建的索引 然后用solr分布式查询···

哎 杯具了 。。。
illu 2011-02-09
挖下
zy19982004 2011-03-22
1.一对多的时候,多的表放外面entity,一的表放内层entity。
2.“问题出在里面那个entity
也就是说外层的entity每处理一个document都会去链接数据库查询里面那个entity
慢的速度就不能容忍”不太理解。我也是这样做的,并不慢啊。
3.不要搞视图。视图不支持索引。
ethan_shan 2015-09-28
我第一次导入的时候,还凑合,但是增量更新,有的时候会更新很久,完成不了,怎么回事呢?
Global site tag (gtag.js) - Google Analytics