基于中文分词的搜索引擎设计实现
北京工业大学T程硕士学位论文
Abstract
Theprojectisonofthekeysub-projectofthecompany'se-commercewebsite,
ofitsownChinesewordprojectdesignrequirements,includingtheimplementation
segmentation,systemdesignedto
Thestrongexpansionachieveamoderatesizeofthesearchenginesystem.andstabilitymustbeconsidered.
Althoughthesearchenginetechnologyisalreadymaturesolution,buttheproject
hasbeenlimitedtospecialsearchengines,includingtheChinesewordprocessing
technology,needtofullyowndesign,SOthisarticleforthesearchenginearchitecture,
aswellasChinesewordsegmentationalgorithm,aredesignedfromthebeginning.
Searchenginedesignusesahierarchicalstructure.The
coresearchengineisdividedintofivelevels,namelytheinterfacelayer’the
monitorsystemandChineseword
fordealingwithexternalsearchlayer,thestoragelayer,thelayerisresponsiblesegmentationsystem.Interfaceenginesandproceduresofthecommunicationprocess.
Thecorelayerconsistsoffoursub—systems:centralcontrolsystem,thebidding
performingnodeandwordsystem,search
thecoresegmentation,thecentersystemcontrolsystemisofthesearchenginescontrolsystem,theauctionisabletoachieve
cost—effectivesearchengine.Storagelayerisincludingtheindexdirectoryservices
anddatastoragenodes,nodes
thenodescallbestoredwiththeneedsofexpansion,aslongascanremovedbythedirectoryservicebeupdatedaccordinglyto’achievethe
expansionofstoragenodes.Themonitorsystemkeepsthecomponentsworking
probably.Search
thespeciallyenginesub-systemscommunicateHTTPServertoachieveausingtheHTTPprotoc01.throughdesignedveryhightransferperformance.
Searchengineindexdataaccumulatedovertimemoreandmore,thesystemhas
meetthesearchperformancebeendesignedtotakedistributedstorageapproachto
andstoragecapacityofthetworequirementsofthedistributedstoragestructure
throughadirectoryservicetomeeteachnodeofdamsynchronization
wordThesegmentationsystemismadeofMaximumMatchingMethodand
KeywordsSearchEngine;DistributedStorage;HTrPProtocol;WordSegment
基于中文搜索引擎的分词词典的设计与实现_专业资料。中文分词是校园网搜索引擎项目的一个核心技术。词典又是中文自动分词的一个核心技术,词典的性能在一定程度上决定...
基于中文搜索引擎的分词词典的设计与实现_建筑/土木_工程科技_专业资料。基于中文搜索引擎的分词词典的设计与实现第15 卷第 12期Vol.15 No.12文章编号 1005-...
中文分词论文: 中文分词论文:搜索引擎中文分词技术研究 【中文摘要】 中文分词...和未登录词识别四个 方面分析研究了中文分词技术,并设计实现了一个中文分词原型...
研究中文分词方法在Nutch中的应用对实现中文搜索引擎具有非常现实的意义.在对中文分词技术进行研究的基础上,设计并实现了具有中文分词功能和新词识别功能的分词器,在...
关键词:中文分词 搜索引擎 Lu 该付费资源由维普网提供 中国最大最早的... 设计实现了一个基于Lucene的中文分词模块,提出了一种更为有效的中文词处理方法...
一种基于词典的中文分词法的设计与实现_IT/计算机_专业资料。中文分词就是把...它是其他中文信息处理的基础,广泛应用于搜索引擎、自动翻译、语音合成、自动分类...
然后介绍了基于该词库设计的一种快 速的分词算法, 并给出了算法的实现过程。 关键词: 中文分词; 二分查找; Hash; 词库; 搜索引擎 中图分类号: TP391 文献...
因此,搜索引擎需要采用一种与 处理英文信息所不同的处理方式即中文分词技术来 ...设计并实现了基于Lucene的中 文分词模块(本文将其定义为中文分词模块A),以 ...
在分析Lucene语言分析器结构的基础上,采用基于中文字典的正向最大匹配分词算法,设计实现能够在基于Lucene的搜索引擎中处理中文信息的中文分词模块。在分析Lucene语言...
现中文搜索引擎具有非常现实的意义.在对中文分词技术进行研究的基础上,设计并实现了具有中文分词功能 和新词识别功能的分词器,在Nutch中实现了中文分词功能.实验测试...
热门文档