[lucene] 有谁知道lucene中最大细化切分的中文分词,我找了十几种都不适用?
liudeyi666666
2011-04-28
感觉lucene对于中文用户来说,提供的几种中文分词器功能都太弱了,有谁知道的很强大的,能不能给提供一下。
|
|
thxg
2011-04-29
自带的smartcn用的是隐马尔可夫模型,源自中科院ICTCLAS分词系统。这个已经很强大,只是词库没有开放。
至于什么最大化切分,跟隐马刺尔可夫不是一个数量级的吧。 |
|
ForgiDaved
2011-11-16
用开源的第三方分词工具吧,IKAnalyzer, 具体用法可以先google,如有不明白的可以共同探讨。
|