[lucene] 工作中用lucene的来,分享下你们的经验把
imjl
2010-02-03
多大数据规模,多少台服务器,大概配置,架构设计
(如果涉及公司隐私,请用马甲或者其他id来回把) 碰到怎样问题,解决的方法? 没有解决的(知道的来说下把) |
|
lzj0470
2010-02-03
用3.0建立索引,遇到数组越标。
文本内容: 引用 title:更上层楼――四川地震灾区统筹城乡发展走笔 time:2009-05-06 Author: url:http://www.haagri.gov.cn/databank/../databank/../databank/../databank/../databank/../databank/../databank/../databank/../databank/../databank/../shownews.asp?id=80233&typename=今日聚焦 countryid:1 prodctid:1 type:0 IF_DELETED:0 clicknum:0 Content: 四川地震灾区的各级政府把灾后重建与统筹城乡发展推动社会主义新农村建设紧密结合努力把灾区农村建成基础设施和公共服务设施配套完善居住与产业发展相适应人与自然和谐相融传统文化和地方风貌特色鲜明的城镇和农村新型社区力争逐步实现灾区农村地区恢复重建中城乡群众生产生活条件经济社会发展公共服务设施基础设施全面恢复并超过灾前水平形成城乡经济社会发展一体化新格局 强化规划统筹布局新农村建设 在灾后重建中四川灾区各地政府坚持城乡统筹ldquo四位一体rdquo的科学发展总体战略以先进理念编制城乡规划以科学规划引领城乡发展新起点高水平推进灾后重建 都江堰市委副秘书长统筹城乡工作局局长罗朝鹏介绍说都江堰市围绕ldquo塑造国际性旅游城市打造安全宜居典范城市建构优势产业与宜居城市建立城乡统筹资源共享城市rdquo的发展定位精心编制了城乡产业发展土地利用城乡基础设施建设社会事业发展生态环境保护等专项规划形成了城乡统筹相互衔接全域覆盖的规划体系和监督执行体系目前都江堰市覆盖全域的城镇体系规划和乡镇重建规划已经完成规划以全域理念为指导将市域1208平方公里作为规划范围进行整体规划科学编制了灾后重建实施规划及36个子规划着力形成以中心城区为极核3个重点镇和6个新市镇为支点6个一般集镇和167个农村新型社区为基础城镇和农村互动发展的城镇体系在对沿山九个极重受灾乡镇的规划修编过程中结合山区生态环境优越旅游资源丰富等特点科学确定城镇重建思路着力打造蒲阳向峨紫坪铺龙池虹口玉堂中兴青城山大观三条发展轴线带动全域发展 受灾最严重的北川县县长经大忠介绍说根据规划新北川将会形成ldquo一廊一环一轴一心rdquo的结构以安昌河为走廊打造一条生态景观廊道山东大道新川大道两条环状道路相连形成行政和商业服务为主的城市核心区同时建设一条东西向垂直于河道的城市景观主轴在安昌河东岸新建方便市民享用的城市中心公园预计新县城的全部重建工作将在2020年前完成 加快实现公共服务均衡化 灾区各地政府在恢复重建过程中将基础设施和公共服务设施作为推进新型城市化实现统筹城乡发展的重要基础大力推进城乡基本公共服务均衡化配置 崇州市以基础设施建设与公共管理公共服务相配套为重建原则该市探索创新了ldquo1+6rdquo的模式住房重建+产业发展基础设施公共设施生产设施公共管理和社会化服务生态环境建设协调推进对350户以上的聚居点作了ldquo四通八达rdquo水电路光纤全部接通每个安置点都达到一个社区管理中心一个幼儿园或小学一个卫生站一个惠民超市一个垃圾收集站一个文化活动室一个体育活动场所一个集劳动保障社务公开计生服务为一体的便民中心的要求同时有一个经济实力较强的村级集体经济组织全面推进农村环境和公共服务的提档升级 崇州市委书记范毅介绍在交通项目中鸡冠山公路灾后重建一期工程已完成投资5000万元5月形成通车能力九龙沟公路灾后重建工程完成投资1273万元5月形成通车能力在水利基础设施上文井江上游备用水源点建设项目正在编制方案沿山7个乡镇污水处理厂管网施工设计已完成生态修复水土保持项目即将启动隆兴羊马街子水厂预计将完成投资2000万元在推进基础设施建设的同时崇州市已全面推进灾区社会事业重建其中教育灾后重建项目73个总投资7.96亿元 江油市宣传部副部长冯潋介绍说地震使江油市农业生产遭受了更大的破坏农业生产能力和农民生活条件急剧下降为此江油市委市政府狠抓农村工作和农业基础设施建设围绕提高农业综合生产能力改善农业生产条件改善农民生活条件及农村社会事业发展等方面夯实基础充分调动各方力量加大投入坚持以水利建设和农村道路为重点推进ldquo四大建设rdquo在农田水利基础设施建设水土流失治理农村交通网络电力通讯有线电视城乡一体化建设及农村清洁能源的使用环境建设等方面下大力气目前已经取得了阶段性成绩 因地制宜着力彰显城乡风貌特色 在灾后农房重建中各级政府突出农村ldquo多样性相融性共享性发展性rdquo规划原则按照ldquo安全经济适用省地rdquo的指导思想遵循农村住房与自然环境的相融性建筑风貌空间布局的多样性基础设施的共享性与产业发展相结合的发展性的要求充分激活农村资源促进城乡资源有序流动推动农村住房在重建中实现上档升级 在都江堰市向峨乡石碑社区记者看到了一排排具有浓郁川西风情的新楼房还有村委会卫生室文化活动中心警务室便民商店等设施记者来到14幢2单元4号尹大培的家中老尹介绍说他的家原来在山上地震中房子全部垮了即使国家给补贴自己重建也十分困难综合考虑之后他主动参加统规统建现在没花一分钱他们一家3口就住上了这套造价将近20万元的105平方米的三居室自来水电天然气宽带电话一应俱全ldquo没有离乡离土就过上了城里人的生活这是以前不能想象的rdquo尹大培高兴地说 该社区村主任曾均祥坦言对于重建政府没有强迫群众而是自主选择六种重建方式每一种重建方式需要付出什么最终能得到什么市乡村干部们都要反复耐心地对受灾村民讲解同时还根据各家各户的情况帮村民分析到底哪种方式最适合他们刚一开始宣传统规统建时压力很大村民们自己也算账比如自己修新房要花多少钱参加统规统建集中居住后生活成本有所提高生产半径扩大自己生活来源的问题如何解决等等在重建工作中市乡政府将加快灾后重建安置和解决农民今后的生计问题相结合确定了发展现代农业产业让生产方式适应生活方式的转变的思路现在村里有6000亩土地流转给成都和都江堰的几家公司发展笋用竹这样农民既可以得到租金还可以打工群众看到今后的生活有了保障就没有意见了目前原有村里的宅基地复垦工作正在实施 产权改革推动灾后农房重建 ldquo钱从哪里来rdquo是推动灾后永久性农房重建工作的最大难题都江堰市农村发展局局长罗凌介绍说都江堰市共有12万户农户受灾7.7万户农户房屋严重受损或倒塌需要重建资金100多亿元ldquo这对于极重灾区都江堰市的财政来说无疑是个天文数字而绝大部分受灾农民也无力承担这么多的农房重建费用面对艰巨的重建任务和巨大的资金压力都江堰市结合近年来统筹城乡发展的成果在试点农村产权制度改革对承包地集体建设用地和宅基地确权颁证的基础上探索集体建设用地流转政策支持农户将符合规划的自己剩余宅基地交给集体经济组织经由集体经济组织与联建户签订协议收益由集体经济组织研究分配并专门成立了农村产权交易中心鼓励和吸引社会资金参与到永久性农房重建中来rdquo他说 记者在大观镇茶坪村四组村民王全的新家看到一幢别墅式的两层小楼宽敞明亮上下共5间卧室每个卧室都有卫生间厨房也已经预留好了天然气接入口客厅里沙发茶几液晶电视等家具一应俱全王全是灾后重建新思路的第一个践行者和受益者地震之后王全在获知相关政策后就与张先生达成永久性农房联建协议王全拿出经过登记的223平方米宅基地张先生出资50万元按规划设计要求全权负责施工修建2栋建筑面积共计408平方米的永久性农房其中王全拥有238平方米的产权张先生拥有170平方米产权 据了解目前都江堰市已经有9000多户农民加入到灾后住房联建中来同时为了防止社会资金侵害受灾群众利益都江堰市要求社会资金为农民联建住房的面积至少要达到人均35平方米或者联建投资规模每亩宅基地不得低于15万元 联建方式虽然能够最大限度解决农房重建过程中的资金不足问题但也并非被所有受灾农户接受对于不愿意与他人分享宅基地的受灾农户都江堰市则创造了农村产权ldquo抵押贷款rdquo的方式以缓解他们在农房重建中的资金压力 ldquo目前引进社会资金12亿元投资新建的统规统建项目共40多个涉及农户2万余户同时还撬动了30多亿元社会资金投入农村产业发展和基础设施建设同时都江堰市灾后永久性农房重建进展步伐加快今年9月底以前全市所有农房重建工作将如期完成rdquo罗凌充满信心地说 错误: 引用 java.lang.ArrayIndexOutOfBoundsException: 3072 at org.wltea.analyzer.dic.DictSegment.match(DictSegment.java:79) at org.wltea.analyzer.dic.Dictionary.matchInPrepDict(Dictionary.java:527) at org.wltea.analyzer.seg.ChineseSegmenter.processUnknown(ChineseSegmenter.java:184) at org.wltea.analyzer.seg.ChineseSegmenter.nextLexeme(ChineseSegmenter.java:125) at org.wltea.analyzer.IKSegmentation.next(IKSegmentation.java:84) at org.wltea.analyzer.lucene.IKTokenizer.incrementToken(IKTokenizer.java:51) at org.apache.lucene.index.DocInverterPerField.processFields(DocInverterPerField.java:137) at org.apache.lucene.index.DocFieldProcessorPerThread.processDocument(DocFieldProcessorPerThread.java:246) at org.apache.lucene.index.DocumentsWriter.updateDocument(DocumentsWriter.java:773) at org.apache.lucene.index.DocumentsWriter.addDocument(DocumentsWriter.java:751) at org.apache.lucene.index.IndexWriter.addDocument(IndexWriter.java:1928) at org.apache.lucene.index.IndexWriter.addDocument(IndexWriter.java:1902) at test.index.readFile(index.java:61) at test.index.indexDirectory(index.java:128) at test.index.indexDirectory(index.java:125) at test.index.index(index.java:155) at test.index.run(index.java:225) at test.index.main(index.java:245) 建立索引字段 content\title\time 我采用的分词器为 IKAnalyzer3.2.0Stable.jar 不知道是lucene的问题,还是IK的问题。 |
|
lzj0470
2010-02-03
补充一下,根据观察,好像是contents后面内容太长,就容易抛出这样的错误。
|
|
jay88489
2010-02-04
IndexWriter.MaxFieldLength.UNLIMITED);
|
|
lzj0470
2010-02-04
还是一样的错误。我在red hat 5.0平台下,就没有这样的问题。但是在window平台下,就出现该问题。在window下,如果我只截取到3071个字符的话,那么就不会报该数组越标的错误了。奇怪~~~
|
|
jieyuan_cg
2010-02-04
推荐一下compass,挺不错的。
|
|
蜗牛创业网
2010-02-04
一百万数据记录,一台服务器,分布式,前段服务器通过socket向后端lucene分布式集群发送索引数据,另后端有搜索服务器,提供lucene搜索服务。索引与搜索服务器定时同步。可提供横向扩展,多应用扩展。没有遇到问题,测试结果未定
|
|
mniz
2010-02-04
第一个项目 目前是80W左右 一台服务器 Linux 8G内存 4核cpu 1T硬盘,转速中上等 版本2.4 遇到的问题,在项目中直跟随服务器启动建立索引,比直接写程序建立索引生成的文件要大2-3倍 暂时没解决 |
|
imjl
2010-02-04
to mniz:遇到的问题,在项目中直跟随服务器启动建立索引,比直接写程序建立索引生成的文件要大2-3倍
这两者有什么差别? |
|
imjl
2010-02-04
to lzj0470 :尝试换个分词试试看
|